AI 模型大全

HF 官方文本生成推理服务器，生产级大模型部署，支持量化、批处理与流式输出，OpenAI 兼容 API。

ExLlamaV2 是高性能本地推理引擎，专精 GPTQ/EXL2 量化，单 A100 可跑 70B 级模型，速度与显存表现强。

KoboldCpp 是面向写作与创意场景的本地 LLM 运行器，兼容 GGUF，内置丰富写作功能，OpenAI 兼容 API。

开源的本地 AI 编程助手服务，代码补全面向团队部署，完全掌控数据不外泄，兼容 VS Code / JetBrains 插件，是企业私有化代码助手的首选。

把家里多台闲置设备（笔记本/树莓派）组成分布式推理集群来跑大模型，无需高端显卡即可本地部署 70B+ 模型，创新玩法备受关注。

开源的文本生成 Web 界面，支持 GGUF/AWQ/GPTQ 量化、加载多种模型后端，带聊天与微调（LoRA）功能，是本地 LLM 折腾党的经典工具。

开源桌面端本地 AI 助手，类似 ChatGPT 的界面，内置模型下载与运行（基于 llama.cpp），跨平台，隐私优先，离线可用。

专为本地大模型打造的现代化 Web 聊天界面，对接 Ollama/OpenAI 兼容 API，支持多用户、文档问答、联网搜索，团队私有 AI 助手利器。

历史最悠久、生态最庞大的 Stable Diffusion 图形界面，一键安装，插件丰富（ControlNet、Lora 等），是 SD 出图入门的经典工具。

最流行的节点式 AI 图像生成工作流工具，SD/FLUX/视频模型皆可接入，可视化连线构建工作流，生产级批量出图与二次开发的首选。

Nomic 出品的本地模型运行器，提供桌面客户端与 Python 库，可在普通电脑离线运行多种开源模型，主打隐私与易用。

C/C++ 编写的轻量推理引擎，支持纯 CPU 与量化（GGUF）推理，可在无显卡的笔记本、树莓派上运行大模型，是端侧部署核心。

业界最流行的 LLM 推理与部署框架，PagedAttention 显存优化、连续批处理，吞吐量可达普通推理的数倍，是生产环境部署的首选。

最流行的本地大模型一键运行工具，支持 Llama、Qwen、DeepSeek 等数百个模型，一条命令下载、运行、提供 OpenAI 兼容 API。

图形化本地大模型客户端，鼠标点点即可下载模型、聊天、提供本地 OpenAI 兼容 API，对非技术用户最友好的本地部署方式。