ApacheFalcon开源推理开源模型

Falcon（TII） 2

Falcon系列 · 阿布扎比 TII · 2023-05发布

开源支持本地部署国内可直连有免费额度代码专用

🔗 官方体验地址 → 📄 API文档地址 → 📥 模型下载地址 →

模型介绍

阿布扎比技术创新研究院开源 Falcon 系列，180B 曾登开源榜首，Apache-2.0 商用自由，主打推理加速训练。

模型基础信息

模型系列Falcon系列

开发机构阿布扎比 TII

发布时间2023-05

参数规模180B / 40B / 7B

上下文窗口1K~2K

模型类型文本

中文能力一般

使用方式网页体验 / API调用 / 本地部署

免费额度与收费政策

开源免费

免费规则详情

Apache-2.0（部分版本）可商用。

收费标准简介

本地零成本。

模型能力介绍

✅ 核心优势

规模覆盖大
pache
推理强大
训练数据多

⚠️ 短板与局限

上下文短
中文弱
生态较小

🎯 适用场景

开源研究
推理基座
大模型训练
教学

模型使用教程

本章节整理 Falcon（TII）的在线体验、API调用、本地部署全套入门教程，快速上手使用该模型。

本地体验：ollama run falcon 或 Transformers / vLLM 加载。
云端：HF 托管模型可在线体验。

ollama run falcon "用中文介绍一下Falcon（TII）"

HF_ENDPOINT=https://hf-mirror.com huggingface-cli download 阿布扎比 TII/Falcon --local-dir ./falcon

或 ModelScope 国内直连下载。

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('阿布扎比 TII/Falcon')
tok = AutoTokenizer.from_pretrained('阿布扎比 TII/Falcon')
code = tok.apply_chat_template([{'role':'user','content':'你好'}], tokenize=False)
print(model.generate(**tok(code, return_tensors='pt')))

Falcon 是 TII 开源的模型（7B/40B/180B），7B 版本轻量，适合本地对话与实验。

transformers 加载：

pip install transformers accelerate

python -c "from transformers import AutoModelForCausalLM, AutoTokenizer; m=AutoModelForCausalLM.from_pretrained('tiiuae/falcon-7b-instruct', torch_dtype='float16').cuda(); t=AutoTokenizer.from_pretrained('tiiuae/falcon-7b-instruct'); print(t.decode(m.generate(t('解释一下什么是大模型', return_tensors='pt').to('cuda'), max_new_tokens=128)[0], skip_special_tokens=True))"

40B 用 vLLM：

vllm serve tiiuae/falcon-40b-instruct --tensor-parallel-size 4 --port 8000

Tips：中文能力一般；180B 需大规模集群，慎选。

💡 使用小技巧

180B 需集群级资源。

❓ 常见问题 FAQ

Q1：Falcon 特色？\nA1：中大参数开源。

访问备注与注意事项

权重 hf-mirror 可下