256KAI21开源混合架构开源模型

Jamba（AI21） 1.5

Jamba系列 · AI21 Labs · 2024-08发布

开源支持本地部署国内可直连有免费额度长上下文代码专用

🔗 官方体验地址 → 📄 API文档地址 → 📥 模型下载地址 →

模型介绍

AI21 开源的 Jamba 混合架构（SSM + Transformer + MoE），256K 上下文，内存效率高，Apache-2.0 可商用。

模型基础信息

模型系列Jamba系列

开发机构AI21 Labs

发布时间2024-08

参数规模52B（MoE + SSM 混合）

上下文窗口256K

模型类型文本

中文能力良好

使用方式网页体验 / API调用 / 本地部署

免费额度与收费政策

开源免费

免费规则详情

Apache-2.0 完全商用。

收费标准简介

本地零成本。

模型能力介绍

✅ 核心优势

256K 上下文
混合架构高效
内存省
pache

⚠️ 短板与局限

中文一般
生态小
复杂推理待验证

🎯 适用场景

长文档
高效推理
企业
研究

模型使用教程

本章节整理 Jamba（AI21）的在线体验、API调用、本地部署全套入门教程，快速上手使用该模型。

本地体验：ollama run jamba 或 Transformers / vLLM 加载。
云端：HF 托管模型可在线体验。

ollama run jamba "用中文介绍一下Jamba（AI21）"

HF_ENDPOINT=https://hf-mirror.com huggingface-cli download AI21 Labs/Jamba --local-dir ./jamba

或 ModelScope 国内直连下载。

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('AI21 Labs/Jamba')
tok = AutoTokenizer.from_pretrained('AI21 Labs/Jamba')
code = tok.apply_chat_template([{'role':'user','content':'你好'}], tokenize=False)
print(model.generate(**tok(code, return_tensors='pt')))

Jamba 是 AI21 的混合架构模型（SSM+MoE，52B），256K 长上下文；Jamba 1.5 已 Apache-2.0 开放。

Jamba 1.5（开源版，128K）用 vLLM：

pip install vllm && vllm serve ai21labs/Jamba-1.5-Mini --port 8000

或 transformers 直连：

pip install transformers transformers_stream_generator

python -c "from transformers import AutoModelForCausalLM, AutoTokenizer; m=AutoModelForCausalLM.from_pretrained('ai21labs/Jamba-v0.1', trust_remote_code=True, torch_dtype='float16').cuda()"

大版本需多卡（约 180GB 显存）。

Tips：长上下文是亮点，适合文档/代码库场景；Mini 版 12B 单卡可跑。

💡 使用小技巧

长上下文内存优势明显。

❓ 常见问题 FAQ

Q1：Jamba 架构？\nA1：SSM+Transformer+MoE。

访问备注与注意事项

权重 hf-mirror 可下