MistralNVIDIA多语言开源开源模型

Mistral Nemo Nemo 12B

Mistral Nemo系列 · Mistral AI × NVIDIA · 2024-07发布

开源支持本地部署国内可直连有免费额度长上下文代码专用

🔗 官方体验地址 → 📄 API文档地址 → 📥 模型下载地址 →

模型介绍

Mistral 与 NVIDIA 合作开源的 12B 模型，128K 上下文，多语言能力强（含中文改善），Apache-2.0 可用，端侧友好。

模型基础信息

模型系列Mistral Nemo系列

开发机构Mistral AI × NVIDIA

发布时间2024-07

参数规模12B

上下文窗口128K

模型类型文本

中文能力良好

使用方式网页体验 / API调用 / 本地部署

免费额度与收费政策

开源免费

免费规则详情

Apache-2.0 完全商用。

收费标准简介

本地零成本。

模型能力介绍

✅ 核心优势

128K 上下文
多语言改善
12B 友好部署
pache 商用

⚠️ 短板与局限

中文仍非顶尖
生态较小
推理一般

🎯 适用场景

长文档
多语言应用
端侧
企业

模型使用教程

本章节整理 Mistral Nemo 的在线体验、API调用、本地部署全套入门教程，快速上手使用该模型。

本地体验：ollama run mistral-nemo 或 Transformers / vLLM 加载。
云端：HF 托管模型可在线体验。

ollama run mistral-nemo "用中文介绍一下Mistral Nemo"

HF_ENDPOINT=https://hf-mirror.com huggingface-cli download Mistral AI × NVIDIA/Mistral Nemo --local-dir ./mistral-nemo

或 ModelScope 国内直连下载。

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('Mistral AI × NVIDIA/Mistral Nemo')
tok = AutoTokenizer.from_pretrained('Mistral AI × NVIDIA/Mistral Nemo')
code = tok.apply_chat_template([{'role':'user','content':'你好'}], tokenize=False)
print(model.generate(**tok(code, return_tensors='pt')))

Mistral Nemo 是 12B 的开源模型（Apache-2.0），128K 上下文，多语言与推理均衡，单卡容易部署。

Ollama：

ollama pull mistral-nemo

使用：

ollama run mistral-nemo

vLLM：

pip install vllm && vllm serve mistralai/Mistral-Nemo-Instruct-2407 --port 8000

Tips：12B 约 24GB 显存，4bit 降到 8-12GB；长上下文看文档/代码友好。

💡 使用小技巧

ollama pull mistral-nemo 可行。

❓ 常见问题 FAQ

Q1：Nemo 有什么改进？\nA1：128K 上下文+多语言。

访问备注与注意事项

权重 hf-mirror 可下