MITRAG开源知识库 本地部署模型

AnythingLLM AnythingLLM 1.6

AnythingLLM系列 · Mintplex Labs · 2023-06发布

开源支持本地部署国内可直连有免费额度长上下文

模型介绍

AnythingLLM 是一体化知识库 RAG 桌面应用,接入本地与云端模型,上传文档即可问答,适合个人知识管理。

模型基础信息

模型系列AnythingLLM系列
开发机构Mintplex Labs
发布时间2023-06
参数规模知识库+RAG 桌面应用
上下文窗口
模型类型知识库桌面应用
中文能力优秀
使用方式网页体验 / API调用 / 本地部署

免费额度与收费政策

开源免费

免费规则详情

MIT 免费(团队版付费)。

收费标准简介

基础免费,团队功能付费。

模型能力介绍

✅ 核心优势

  • 开箱即用 RAG
  • 多模型
  • 本地文档
  • 界面友好

⚠️ 短板与局限

  • 大规模弱
  • 团队版付费
  • 检索质量依赖模型

🎯 适用场景

  • 个人知识库
  • 文档问答
  • 团队协作
  • 本地 RAG

模型使用教程

本章节整理 AnythingLLM 的在线体验、API调用、本地部署全套入门教程,快速上手使用该模型。

  • 本地工具,安装后即可使用。
  • 支持对接主流模型与本地推理引擎。

启动服务后按提示操作即可。

export HF_ENDPOINT=https://hf-mirror.com

模型权重通过 HuggingFace 镜像或 ModelScope 下载。

提供 HTTP API:

curl http://localhost:PORT/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"default","messages":[{"role":"user","content":"你好"}]}'

AnythingLLM 是一体化知识库+RAG 桌面应用,内置本地模型支持,无需写代码。

  1. 下载桌面版:官网 anythingllm.com 下载安装包并安装(Windows/macOS/Linux 均有)。
  2. 打开后进入「设置 → 模型」,选择「Ollama」「LocalAI」或「OpenAI Compatible」并填入本地服务地址与模型名。
  3. 新建工作区 → 上传文档 → 提问,即可体验本地知识库问答。

Tips:Windows 也有便携版;也支持 Docker 部署(docker-compose up)。

💡 使用小技巧

放文档进去就能问。

❓ 常见问题 FAQ

Q1:AnythingLLM 干嘛的?\nA1:私有文档问答。

访问备注与注意事项