PrivateGPTRAG开源隐私 本地部署模型

PrivateGPT PrivateGPT 0.6

PrivateGPT系列 · zylon-ai(Zylon) · 2023-05发布

开源支持本地部署国内可直连有免费额度长上下文

模型介绍

PrivateGPT 主打隐私的私有知识库问答,完全本地推理,文档不出设备,RAG 与 LLM 全离线。

模型基础信息

模型系列PrivateGPT系列
开发机构zylon-ai(Zylon)
发布时间2023-05
参数规模本地私有知识库
上下文窗口
模型类型本地知识库
中文能力良好
使用方式网页体验 / API调用 / 本地部署

免费额度与收费政策

开源免费

免费规则详情

Apache-2.0 免费。

收费标准简介

完全免费(自托管)。

模型能力介绍

✅ 核心优势

  • 全离线隐私
  • RAG 内置
  • 文档问答
  • 公司背景

⚠️ 短板与局限

  • 部署复�
  • 检索质量依赖模型
  • 速度慢

🎯 适用场景

  • 涉密文档
  • 隐私问答
  • 离线知识库
  • 研究

模型使用教程

本章节整理 PrivateGPT 的在线体验、API调用、本地部署全套入门教程,快速上手使用该模型。

  • 本地工具,安装后即可使用。
  • 支持对接主流模型与本地推理引擎。

启动服务后按提示操作即可。

export HF_ENDPOINT=https://hf-mirror.com

模型权重通过 HuggingFace 镜像或 ModelScope 下载。

提供 HTTP API:

curl http://localhost:PORT/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"default","messages":[{"role":"user","content":"你好"}]}'

PrivateGPT 专注离线私有知识库,全本地文档问答、无数据外传,Docker 或 pip 均可部署。

  1. pip 安装并初始化:

pip install private-gpt && private-gpt init && private-gpt

  1. 浏览器打开 http://localhost:8001,上传 PDF/MD/TXT 文档。
  2. 选择内置小模型(或配置 Ollama)进行离线问答。

Tips:默认内置向量库与 embed 模型,完全离线;大文档建议先切分再索引。

💡 使用小技巧

重视隐私的本地知识库。

❓ 常见问题 FAQ

Q1:PrivateGPT 特点?\nA1:数据不出本机。

访问备注与注意事项