最近 AI 音乐圈最大的惊喜,莫过于YuE2(常被大家读作 yue2)。由港科大、M-A-P(Multimodal Art Projection)社区联合 NOIZ AI、斯坦福等团队推出的开源歌唱生成模型,一改过往 AI 音乐 “输入提示词直接出音频,结果不可控、无法修改” 的模式,用符号乐谱先行,再渲染音频的思路,把 AI 音乐生成从盲盒抽卡,变成可修改、可调试的音乐工程。
一、YuE2 到底是什么?
YuE2 是一套端到端开源 AI 歌曲生成模型,支持文本 + 歌词直接生成带人声演唱的完整歌曲,包含旋律、和弦、伴奏与人声。
和 Suno、Udio 这类闭源 AI 音乐最大的区别: YuE2 不是直接从文字一步生成音频,而是先输出可读的乐谱(音符、和弦、曲式结构),再把这份乐谱渲染成最终音频。
这个设计带来颠覆性变化:
- 乐谱是人类可读的,你可以手动修改旋律、和弦、段落,再重新渲染;
- 也可以交给 LLM 智能体自动调整编曲,反复迭代;
- 支持逆向工程:把一段现有歌曲转录成乐谱,再做二次改编、风格迁移。
在 WildSongBench 评测基准上,YuE2 的综合表现已经追上 Suno,成为目前开源赛道里第一梯队的歌唱生成模型,发布后短时间冲上 GitHub Trending 榜首。
二、核心技术思路
YuE2 采用符号规划 + 音频生成两段式流水线:
- 符号规划阶段:根据歌词、风格提示词,生成结构化乐谱(音符、和弦、段落结构、速度调号);
- 音频生成阶段:基于乐谱生成音乐语义 token,再通过 Flow Matching+VAE 解码器,输出 48kHz 高质量音频,同时生成人声和伴奏。
模型架构采用 AR-NAR 混合 MoE Transformer,3B 参数量,硬件门槛友好:
- RTX4090(24G 显存):生成速度快,70 秒左右就能产出一首完整歌曲;
- 借助 GGUF 量化版本,8–16GB 显存显卡也可以在 Windows 本地跑起来;Mac 硅芯片同样支持本地部署。
支持多语言人声:中文、英文、日语等,曲风覆盖流行、摇滚、民谣、国风、R&B 等。
三、YuE2 的优势,也是它和 Suno 最大差异
✅ 可编辑性是最大亮点 传统 AI 音乐,出歌不满意只能重生成,完全盲盒。YuE2 可以直接改乐谱,微调一句旋律、换和弦、调整段落,不用整首歌重跑,适合独立音乐人、词曲作者做快速原型迭代。
✅ 完全开源,本地部署自由 权重开源,可本地离线跑,没有云端 API 调用次数限制,不用按首付费。许可证为 CC BY-NC 4.0(非商用,商用需要单独确认)。
✅ 支持二次创作与改编 支持从已有音频转乐谱,再改调、换曲风、重写伴奏,适合做 remix、翻唱改编。
✅ 可控性更强 可以精细控制曲式结构、段落安排,比如主歌、副歌、桥段的长短,而不是模型随机生成。
当然短板也要客观看待:
- 人声的自然度、长段落稳定性和闭源 Suno 还有细微差距;
- 本地部署有一定门槛,需要懂基础环境配置;
- 许可证限制,不能直接商用。
四、谁适合玩 YuE2?
- 独立音乐人 / 词曲作者:快速写歌原型,快速试旋律和弦,辅助创作;
- AI 爱好者、开发者:本地部署、二次开发,基于 YuE2 做 WebUI、LoRA 风格微调;
- 短视频创作者:快速生成原创小样,做配乐、Demo;
- 技术研究者:研究符号音乐生成,对比传统音频端到端模型的差异。
社区还衍生出 YuE2 Studio、Pinokio 一键部署包,带 LoRA 风格微调、可视化乐谱编辑界面,大幅降低上手门槛。
五、总结
Suno 证明了 AI 可以一键生成好听的歌,但本质是黑盒。而 YuE2 走出了另一条路线:先写乐谱,再出声音,把创作控制权还给人。
它不只是一个 “一键出歌工具”,更是一套可编辑、可调试的 AI 音乐工作流。对于开源社区、独立创作者来说,这是非常重要的一步:AI 不再只是生成音频的黑盒,而是能看懂音符、可以协同修改的音乐助手。
未来,随着社区优化、LoRA 生态完善,本地 AI 音乐创作的门槛会持续降低,我们会看到更多基于 YuE2 的原创音乐 Demo、插件与工具。
如果你想上手,可以去 GitHub 搜索 YuE2,也可以用 Pinokio 一键安装包快速体验。