ApacheMistral开源轻量 开源模型

Mistral 7B v0.3 v0.3

Mistral 7B v系列 · Mistral AI · 2023-09发布

开源支持本地部署国内可直连有免费额度长上下文代码专用

模型介绍

Mistral 开源的 7B 轻量模型,小参数量却有出色指令跟随,Apache-2.0 商用自由,是边缘部署经典。

模型基础信息

模型系列Mistral 7B v系列
开发机构Mistral AI
发布时间2023-09
参数规模7B
上下文窗口32K
模型类型文本
中文能力良好
使用方式网页体验 / API调用 / 本地部署

免费额度与收费政策

开源免费

免费规则详情

Apache-2.0 完全商用。

收费标准简介

本地零成本。

模型能力介绍

✅ 核心优势

  • 小参数高效
  • pache 商用
  • 英文强
  • 易于部署

⚠️ 短板与局限

  • 中文一般
  • 能力有限
  • 上下文 32K

🎯 适用场景

  • 轻量助手
  • 边缘推理
  • 教学
  • 微调基座

模型使用教程

本章节整理 Mistral 7B v0.3 的在线体验、API调用、本地部署全套入门教程,快速上手使用该模型。

  • 本地体验:ollama run mistral-7b 或 Transformers / vLLM 加载。
  • 云端:HF 托管模型可在线体验。
ollama run mistral-7b "用中文介绍一下Mistral 7B v0.3"
HF_ENDPOINT=https://hf-mirror.com huggingface-cli download Mistral AI/Mistral 7B v0.3 --local-dir ./mistral-7b

或 ModelScope 国内直连下载。

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('Mistral AI/Mistral 7B v0.3')
tok = AutoTokenizer.from_pretrained('Mistral AI/Mistral 7B v0.3')
code = tok.apply_chat_template([{'role':'user','content':'你好'}], tokenize=False)
print(model.generate(**tok(code, return_tensors='pt')))

Mistral 7B v0.3 是 Apache-2.0 的开源基座,量化后 6GB 显存可跑,是性价比很高的本地模型。

  1. Ollama:

ollama pull mistral:7b

  1. 使用:

ollama run mistral:7b

  1. vLLM / transformers:

pip install vllm && vllm serve mistralai/Mistral-7B-Instruct-v0.3 --port 8000

Tips:32K 上下文;配合 Continue 做本地代码补全体验不错。

💡 使用小技巧

ollama pull mistral 直接跑。

❓ 常见问题 FAQ

Q1:Mistral 7B 实力?\nA1:小模型里的强者。

访问备注与注意事项