HF小模型开源端侧开源模型

SmolLM（端侧） 2

SmolLM系列 · HuggingFace · 2024-07发布

开源支持本地部署国内可直连有免费额度

🔗 官方体验地址 → 📄 API文档地址 → 📥 模型下载地址 →

模型介绍

HuggingFace 开源超小模型 SmolLM，最小到 135M，面向手机与嵌入式，教学与端侧 demo 友好。

模型基础信息

模型系列SmolLM系列

开发机构HuggingFace

发布时间2024-07

参数规模135M ~ 1.7B

上下文窗口2K

模型类型文本

中文能力一般

使用方式网页体验 / API调用 / 本地部署

免费额度与收费政策

开源免费

免费规则详情

Apache-2.0 完全商用。

收费标准简介

本地零成本。

模型能力介绍

✅ 核心优势

超小体积
端侧友好
pache
HF 生态

⚠️ 短板与局限

能力弱
上下文短
仅基础任务

🎯 适用场景

端侧实验
教学
嵌入式
入门部署

模型使用教程

本章节整理 SmolLM（端侧）的在线体验、API调用、本地部署全套入门教程，快速上手使用该模型。

本地体验：ollama run smollm 或 Transformers / vLLM 加载。
云端：HF 托管模型可在线体验。

ollama run smollm "用中文介绍一下SmolLM（端侧）"

HF_ENDPOINT=https://hf-mirror.com huggingface-cli download HuggingFace/SmolLM --local-dir ./smollm

或 ModelScope 国内直连下载。

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('HuggingFace/SmolLM')
tok = AutoTokenizer.from_pretrained('HuggingFace/SmolLM')
code = tok.apply_chat_template([{'role':'user','content':'你好'}], tokenize=False)
print(model.generate(**tok(code, return_tensors='pt')))

SmolLM 是 HuggingFace 推出的 135M~1.7B 端侧模型，CPU 友好，适合嵌入式、教育场景。

transformers / 直接 Ollama：

ollama pull smollm2:1.7b

使用：

ollama run smollm2:1.7b

transformers 直连：

pip install transformers && python -c "from transformers import AutoModelForCausalLM, AutoTokenizer; m=AutoModelForCausalLM.from_pretrained('HuggingFaceTB/SmolLM2-1.7B-Instruct'); t=AutoTokenizer.from_pretrained('HuggingFaceTB/SmolLM2-1.7B-Instruct'); print(t.decode(m.generate(t('你好', return_tensors='pt'), max_new_tokens=32)[0], skip_special_tokens=True))"

Tips：小模型不代表弱，1.7B 已能完成简单聊天/摘要；端侧优先。

💡 使用小技巧

手机/web 端 demo 首选。

❓ 常见问题 FAQ

Q1：SmolLM 最小多大？\nA1：135M 参数。

访问备注与注意事项

权重 hf-mirror 可下