Aitishiku.com
OllamaOpenAI兼容工具本地部署 本地部署模型
Ollama（本地部署工具） Latest
Ollama系列 · Ollama 社区 · 2023-06发布
模型介绍
最流行的本地大模型一键运行工具，支持 Llama、Qwen、DeepSeek 等数百个模型，一条命令下载、运行、提供 OpenAI 兼容 API。
模型基础信息
模型系列Ollama系列
开发机构Ollama 社区
发布时间2023-06
参数规模-
上下文窗口-
模型类型推理框架 / 工具
中文能力待评估
使用方式网页体验 / API调用 / 本地部署
免费额度与收费政策
完全免费开源
免费规则详情
Ollama 本体与内置模型完全免费，本地运行无任何费用。
收费标准简介
完全免费；仅需自备电脑 / 显卡硬件成本。
模型能力介绍
✅ 核心优势
- 一条命令下载
- 运行数百个模型
- 自带 OpenAI 兼容本地 API
- 支持 Windows / macOS / Linu
- 模型管理（list / pull / rm）极简单
⚠️ 短板与局限
- 本身不是模型，需依赖社区模型
- 大模型仍需要足够的显存
- 高并发生产场景建议改用 vLLM
🎯 适用场景
- 个人本地体验大模型
- 开发调试与原型验证
- 数据不出网的私有使用
- 新手本地部署入门
模型使用教程
本章节整理 Ollama（本地部署工具） 的在线体验、API调用、本地部署全套入门教程，快速上手使用该模型。
- 安装：官网下载对应系统安装包（macOS/Windows/Linux）。
- 拉取模型：
ollama pull qwen2.5:7b - 运行对话：
ollama run qwen2.5:7b - API 服务：安装后默认监听 11434 端口，提供
/v1/chat/completions（OpenAI 兼容）。 - 管理模型：
ollama list（查看）、ollama rm（删除）。
Windows/macOS：官网下载安装包，双击安装。
Linux：
curl -fsSL https://ollama.com/install.sh | sh验证：
ollama --version# 命令行对话
ollama run llama3.1 "用中文写一句话"
# HTTP API（OpenAI 兼容）
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"你好"}]}'Python：
from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
print(client.chat.completions.create(model="qwen2.5:7b", messages=[{"role":"user","content":"你好"}]).choices[0].message.content)Windows / macOS 直接下载官网安装包，Linux：
curl -fsSL https://ollama.com/install.sh | sh拉取并运行模型：
ollama pull qwen2.5:7b
ollama run qwen2.5:7b验证本地 API：
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"你好"}]}'💡 使用小技巧
常用命令：ollama pull qwen2.5:7b、ollama list、ollama rm <模型名>。
默认端口 11434，服务自带 /v1 OpenAI 兼容接口，可被任何 SDK 调用。
❓ 常见问题 FAQ
Q1：Ollama 是模型吗？
A1：不是，它是一个本地运行开源模型的工具，本身不包含推理能力。
Q2：和 LM Studio 比选哪个？
A2：Ollama 偏命令行与自动化，LM Studio 偏图形界面，看使用习惯。
访问备注与注意事项
- 下载模型默认走 Hugging Face，国内可配置镜像
- 安装包在官网下载