Aitishiku.comBaichuan 2 2
Baichuan系列 · 百川智能 · 2023-09发布
模型介绍
百川智能开源的 Baichuan 2 模型，中文与数学能力突出，7B/13B 尺寸适合中文本地部署。
模型基础信息
免费额度与收费政策
免费规则详情
社区许可免费商用。
收费标准简介
本地零成本。
模型能力介绍
✅ 核心优势
- 中文强
- 数学好
- 13B 部署友好
- 开源
⚠️ 短板与局限
- 能力落后新模型
- 生态较小
- 通用弱
🎯 适用场景
- 中文对话
- 数学解题
- 教学
- 轻量部署
模型使用教程
本章节整理 Baichuan 2 的在线体验、API调用、本地部署全套入门教程，快速上手使用该模型。
- 本地体验：
ollama run baichuan-2或 Transformers / vLLM 加载。 - 云端：HF 托管模型可在线体验。
ollama run baichuan-2 "用中文介绍一下Baichuan 2"HF_ENDPOINT=https://hf-mirror.com huggingface-cli download 百川智能/Baichuan 2 --local-dir ./baichuan-2或 ModelScope 国内直连下载。
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('百川智能/Baichuan 2')
tok = AutoTokenizer.from_pretrained('百川智能/Baichuan 2')
code = tok.apply_chat_template([{'role':'user','content':'你好'}], tokenize=False)
print(model.generate(**tok(code, return_tensors='pt')))Baichuan 2 是百川智能开源的双语大模型，7B / 13B 用量化后均可本地运行，13B 建议 24GB 显存。
- 安装依赖：
pip install transformers==4.36.2 accelerate
- 用 transformers 加载（权重 hf-mirror 可下）：
python -c "from transformers import AutoModelForCausalLM, AutoTokenizer; m=AutoModelForCausalLM.from_pretrained('baichuan-inc/Baichuan2-7B-Chat', trust_remote_code=True, torch_dtype='float16').cuda(); t=AutoTokenizer.from_pretrained('baichuan-inc/Baichuan2-7B-Chat', trust_remote_code=True); print(m.generate(t('你好', return_tensors='pt').to('cuda'), max_new_tokens=64))"
- 生产部署用 vLLM：
vllm serve baichuan-inc/Baichuan2-7B-Chat --trust-remote-code --port 8000
Tips：显存不足用 4bit（load_in_4bit）可降到 8GB 级。
💡 使用小技巧
ollama pull baichuan2 也行。
❓ 常见问题 FAQ
Q1：Baichuan2 特色？\nA1：中文与数学。
访问备注与注意事项
- ModelScope 可下