Meta开源研究音乐生成 多模态模型
MusicGen(音乐生成) MusicGen
MusicGen(Meta)系列 · Meta(FAIR) · 2023-06发布
模型介绍
Meta 开源的音乐生成模型,输入描述与风格可生成带旋律/伴奏的音频片段,支持文本/旋律双提示,本地可运行,研究友好。
模型基础信息
模型系列MusicGen(Meta)系列
开发机构Meta(FAIR)
发布时间2023-06
参数规模300M ~ 3.3B
上下文窗口文本生成音乐
模型类型文本生成音乐
中文能力一般
使用方式网页体验 / API调用 / 本地部署
免费额度与收费政策
开源(权重非商用)
免费规则详情
代码 MIT,音频权重 CC BY-NC 4.0(非商用)。
收费标准简介
本地免费。
模型能力介绍
✅ 核心优势
- 开源可本地生成音乐
- 支持文本与旋律提示
- 多种尺寸可选
- 研究基线完善
⚠️ 短板与局限
- 权重非商用许可
- 生成音频长度有限
- 质量与商业模型有差距
🎯 适用场景
- 音乐研究实验
- 短视频配乐原型
- 声音设计
- 开源二次开发
模型使用教程
本章节整理 MusicGen(音乐生成) 的在线体验、API调用、本地部署全套入门教程,快速上手使用该模型。
Meta 开源的文本生成音乐模型,适合研究与非商业创作。
本地调用见部署教程;Hugging Face 提供在线 Demo。
pip install audiocraft
HF_ENDPOINT=https://hf-mirror.com huggingface-cli download facebook/musicgen-medium
Hugging Face Transformers:
from transformers import AutoProcessor, MusicgenForConditionalGeneration
processor = AutoProcessor.from_pretrained("facebook/musicgen-small")
model = MusicgenForConditionalGeneration.from_pretrained("facebook/musicgen-small")
inputs = processor(text=["一段轻快的钢琴曲"], padding=True, return_tensors="pt")
audio = model.generate(**inputs, max_new_tokens=256)
pip install audiocraft
from audiocraft.models import MusicGen
model = MusicGen.get_pretrained('facebook/musicgen-medium')
model.set_generation_params(duration=10)
wav = model.generate(['upbeat electronic music for a sport video'])
import scipy.io.wavfile as wavfile
wavfile.write('out.wav', model.sample_rate, wav[0].cpu().numpy())
💡 使用小技巧
python -m audiocraft 快速生成。
规模选 medium 性价比高。
❓ 常见问题 FAQ
Q1:MusicGen 免费吗?
A1:开源,本地免费,权重非商用。
Q2:能生成多久?
A2:默认约 10-30 秒片段(可扩展)。
访问备注与注意事项
- 权重 hf-mirror 可下
- 注意非商用许可
Aitishiku.com