Aitishiku.com
NVIDIA企业合成数据开源 开源模型
Nemotron（NVIDIA） Nemotron-4
Nemotron系列 · NVIDIA · 2024-03发布
模型介绍
NVIDIA 开源 Nemotron 系列，70B 指令模型，RLHF 对齐成本低，面向企业自训与合成数据。
模型基础信息
模型系列Nemotron系列
开发机构NVIDIA
发布时间2024-03
参数规模70B
上下文窗口4K~32K
模型类型文本
中文能力一般
使用方式网页体验 / API调用 / 本地部署
免费额度与收费政策
开源免费
免费规则详情
NVIDIA 开放许可可商用。
收费标准简介
本地零成本。
模型能力介绍
✅ 核心优势
- 对齐成本低
- 合成数据强
- 企业适用
- NVIDIA 生态
⚠️ 短板与局限
- 中文一般
- 仅文本
- 生态需自建
🎯 适用场景
- 合成数据
- 企业自训
- RLHF 研究
- 行业模型
模型使用教程
本章节整理 Nemotron（NVIDIA） 的在线体验、API调用、本地部署全套入门教程，快速上手使用该模型。
- 本地体验：
ollama run nemotron或 Transformers / vLLM 加载。 - 云端：HF 托管模型可在线体验。
ollama run nemotron "用中文介绍一下Nemotron（NVIDIA）"HF_ENDPOINT=https://hf-mirror.com huggingface-cli download NVIDIA/Nemotron --local-dir ./nemotron或 ModelScope 国内直连下载。
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('NVIDIA/Nemotron')
tok = AutoTokenizer.from_pretrained('NVIDIA/Nemotron')
code = tok.apply_chat_template([{'role':'user','content':'你好'}], tokenize=False)
print(model.generate(**tok(code, return_tensors='pt')))Nemotron（NVIDIA）是针对企业 RAG 优化的 70B 模型，需约 140GB 显存，量化后可降低门槛。
- 下载权重（nvidia/Nemotron-4-340B 或 70B 版）并用 vLLM：
pip install vllm && vllm serve nvidia/Nemotron-4-340B-Instruct --tensor-parallel-size 8 --port 8000
- 个人低显存选择更小的 Nemotron-Mini（由社区量化）。
- 配合 NVIDIA NIM（build.nvidia.com）也可托管部署。
Tips：340B 需 8×80GB；个人用建议直接走 NVIDIA NIM 或依赖 API。
💡 使用小技巧
配 NVIDIA 生态最佳。
❓ 常见问题 FAQ
Q1：Nemotron 特点？\nA1：低成本对齐+合成数据。
访问备注与注意事项
- 权重 hf-mirror 可下