Aitishiku.com
小模型开源微软端侧 开源模型
Phi-3（微软小模型） 3
Phi-系列 · Microsoft · 2024-04发布
模型介绍
微软开源的轻量小模型，3.8B 即可达到近似大模型的推理与代码能力，可在手机与边缘设备运行，MIT 协议自由商用。
模型基础信息
模型系列Phi-系列
开发机构Microsoft
发布时间2024-04
参数规模3.8B / 7B / 14B
上下文窗口128K
模型类型文本
中文能力良好
使用方式网页体验 / API调用 / 本地部署
免费额度与收费政策
开源免费
免费规则详情
权重 MIT 协议完全免费，可自由商用与再发布。
收费标准简介
本地运行零成本；Azure AI Foundry 托管按 token 计费。
模型能力介绍
✅ 核心优势
- 3.8B 小模型即可达到近似大模型的推理与代码能力
- 可在 CPU / 手机 / 边缘设备运行
- MIT 协议商用无限制
- ONNX Runtime 生态完善
⚠️ 短板与局限
- 知识广度有限，复杂任务不如大模型
- 长上下文依赖变体（128K 版显存开销更大）
- 中文能力中规中矩
🎯 适用场景
- 端侧离线问答与代码补全
- 数据不出网的高隐私场景
- 低成本高并发批处理
- 教学与原型验证
模型使用教程
本章节整理 Phi-3（微软小模型） 的在线体验、API调用、本地部署全套入门教程，快速上手使用该模型。
- Phi-3-mini (3.8B)：最强小模型之一，CPU 即可运行，适合本地知识问答、代码补全。
- Phi-3-small/medium (7B/14B)：更强能力，单卡可跑。
- 适合对延迟敏感、数据不出网的场景。
ONNX Runtime 版本可在 CPU/GPU/手机直接部署，适合边缘设备。
HF_ENDPOINT=https://hf-mirror.com huggingface-cli download microsoft/Phi-3-mini-4k-instruct --local-dir ./phi3-minifrom transformers import AutoTokenizer, AutoModelForCausalLM
tok = AutoTokenizer.from_pretrained("./phi3-mini", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("./phi3-mini", device_map="cpu")
prompt = "用中文写一句鼓励程序员的话"
ids = tok(prompt, return_tensors="pt").input_ids
out = model.generate(ids, max_new_tokens=64)
print(tok.decode(out[0], skip_special_tokens=True))# Ollama
ollama pull phi3
ollama run phi3Transformers（CPU 友好）
from transformers import AutoTokenizer, AutoModelForCausalLM
tok = AutoTokenizer.from_pretrained("microsoft/Phi-3-mini-4k-instruct", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("microsoft/Phi-3-mini-4k-instruct", device_map="cpu")
ids = tok("用中文写一句鼓励程序员的话", return_tensors="pt").input_ids
out = model.generate(ids, max_new_tokens=64)
print(tok.decode(out[0], skip_special_tokens=True))💡 使用小技巧
CPU 直接跑：ollama pull phi3。
边缘部署推荐 ONNX 格式，可量化到 INT4 进一步瘦身。
❓ 常见问题 FAQ
Q1：Phi-3 真的能替代大模型吗？
A1：轻量任务可以；复杂推理与多领域知识仍建议大模型。
Q2：mini 版需要多大显存？
A2：Q4 量化后约 3GB，CPU 也能流畅运行。
访问备注与注意事项
- 权重国内可用 hf-mirror 镜像下载
- 各尺寸注意选择 4k / 128k 上下文变体