登录 注册
AI 模型与开发框架图像、视频与音频AI 应用与 AI Agent aiaudio-generationdeep-learningfoundation-modelsgpthuggingface
13,413
Stars
1,543
Forks
106
Watchers
44
Open Issues
Apache-2.0
许可证
Python
语言
2025-01-23
创建时间
2026-11-01
最近更新

项目能做什么

前沿音乐生成模型,支持符号规划、零样本翻唱与 Agent 式音乐编辑。
来源:AI 基于仓库事实生成 · 内容以仓库实际 README 为准

使用说明 查看原始 README 原仓库文档

中文使用说明暂未生成。下面保留原仓库 README 摘录,命令与配置均以原文为准。
原始 README 摘录(英文原文,节选前 3000 字符)
> Looking for the original YuE? Its code, documentation, and license are preserved on the **[YuE-v1 branch](https://github.com/multimodal-art-projection/YuE/tree/YuE-v1)**.

<p align="center">
  <img src="assets/logo.png" alt="YuE" width="150" />
</p>

<p align="center">
  <picture>
    <source media="(max-width: 600px)" srcset="assets/institutions-mobile.svg" />
    <img src="assets/institutions.svg" alt="HKUST, M·A·P, Tokenwave.AI, NYU, Stanford, MBZUAI, NOIZ, and ACE Studio" width="760" />
  </picture>
</p>

<h1 align="center">YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality</h1>

<p align="center"><strong>Compose in symbols. Create in sound.</strong></p>

<p align="center">
  <a href="https://arxiv.org/abs/2609.33757">📄 arXiv</a> ·
  <a href="docs/technical_report.pdf">PDF</a> ·
  <a href="https://map-yue2.github.io/">🎧 Demos</a> ·
  <a href="https://yue.noizai.net/">🚀 Try online (free)</a> ·
  <a href="https://arena.3-148-255-99.sslip.io:8080">🗳️ Music Arena</a> ·
  <a href="#news">📰 News</a> ·
  <a href="https://huggingface.co/m-a-p/YuE2-3B">🤗 YuE2</a> ·
  <a href="#quick-start">🚀 Quick start</a> ·
  <a href="#agent-skill">🤖 Agent skill</a> ·
  <a href="#benchmarks">📊 Benchmarks</a> ·
  <a href="https://huggingface.co/m-a-p/MERT-v2-FullSong">🤗 MERT2</a> ·
  <a href="https://huggingface.co/m-a-p/SheetSage2">🤗 SheetSage2</a> ·
  <a href="https://huggingface.co/datasets/m-a-p/WildSongBench">🤗 WSB</a> ·
  <a href="https://github.com/multimodal-art-projection/YuE/releases/tag/yue2-v0.1.6">📦 Release</a> ·
  <a href="https://discord.gg/ssAyWMnMzu"><img alt="Join us on Discord" src="https://img.shields.io/discord/842440537755353128?color=5865F2&amp;logo=discord&amp;logoColor=white&amp;label=Discord&amp;style=flat-square" height="20" /></a>
</p>

<p align="center">
  <a href="https://trendshift.io/repositories/32209">
    <img src="https://trendshift.io/api/badge/repositories/32209" alt="YuE — GitHub Trending #1 Repository of the Day" width="250" height="55" />
  </a>
  <br />
  <sub>All languages · September 14, 2026</sub>
</p>

<p align="center">
  <a href="https://web.archive.org/web/20260917003427/https://huggingface.co/models?sort=trending">
    <img src="https://img.shields.io/static/v1?label=HF%20Global%20Trending&amp;message=Reached%20%233&amp;color=FFD21E&amp;logo=huggingface&amp;logoColor=FFD21E" alt="Hugging Face Global Model Trending: reached #3 on September 17, 2026" height="20" />
  </a>
  <a href="https://huggingface.co/models?pipeline_tag=text-to-audio&amp;sort=trending">
    <img src="https://img.shields.io/static/v1?label=HF%20Text-to-Audio%20Trending&amp;message=Reached%20%231&amp;color=FFD21E&amp;logo=huggingface&amp;logoColor=FFD21E" alt="Hugging Face Text-to-Audio Trending: reached #1 on September 20, 2026" height="20" />
  </a>
  <br />
  <sub>Global: September 17, 2026 · Text-to-Audio: September 20, 2026</sub>
</p>

**YuE2 brings frontier song quality to music generation with an editable composition.** G
阅读完整原文

商业机会分析 AI 生成

垂直场景 AI 翻唱与声音克隆 Web SaaS

产品构想基于 YuE 的 zero-shot covers 与 voice-cloning 能力,打造面向自媒体创作者的翻唱与虚拟歌手定制工作台,免去复杂的本地运行环境。
核心功能一键上传参考音轨进行风格迁移、零样本人声克隆歌唱、预设音色库、歌词到音频对齐编辑器、高质量无损音频导出。
目标用户短视频创作者、虚拟主播(VTuber)团队、泛娱乐内容制作人。
难度/周期中等 · 4-6 周 · 成本:中等(需租赁 A100/H100 等高端 GPU 实例用于推理,初期约 $500 - $1500/月)
收费模式按生成时长计费的点卡制、月度会员订阅(含基础生成额度与商用授权)。
竞争风险高推理延迟影响体验;算力成本高昂导致单元经济模型转负;知名歌手声学克隆面临潜在肖像/版权纠纷风险。
依据 已验证事实

独立游戏与互动媒体无缝配乐生成套件

产品构想利用 YuE 的符号规划(symbolic planning)能力,开发专注生成多情绪、可无缝循环的场景 BGM 工具,支持 Unity/Godot 插件集成。
核心功能情绪/氛围参数化调节、自动生成分轨(Stems)与无缝循环点标记、动态音乐状态机配置导出、免版权免版税商业凭据生成。
目标用户独立游戏开发者、TRPG 主持人、互动小说创作者。
难度/周期中等偏高 · 6-8 周 · 成本:低至中等(前期按需弹性 GPU 实例部署,初期约 $300 - $800/月)
收费模式买断制插件 + 云端生成 Token 充值,或按月订阅的游戏商用配乐包。
竞争风险音乐循环逻辑与分轨质量依赖底层模型微调;游戏行业对高定制化音频要求严苛。
依据 数据支持的判断

Agentic 音乐编辑与创作辅助 API 平台

产品构想将 YuE 的智能音乐编辑(Agentic music editing)能力包装为标准化 RESTful API 与 Webhook,供第三方剪辑软件、AI 生成应用快速接入。
核心功能自然语言音乐局部重绘/编辑 API、音轨延展与重构、任务队列管理与异步回调、Token 消耗统计与开发者后台。
目标用户AIGC 应用开发者、视频剪辑 SaaS 厂商、营销内容生成平台。
难度/周期中等 · 3-5 周 · 成本:低(主要为 Serverless/弹性算力调度架构,初期待机成本约 $200 - $500/月)
收费模式API 调用量计费(按生成秒数/推理步数梯度阶梯定价)、企业级专有算力实例租用。
竞争风险B端获客周期较长;主流音频大厂推出竞品 API 造成价格战挤压。
依据 AI推测
AI 基于仓库公开数据分析生成,含推测成分,不构成收益承诺。
报告会保存到 个人中心

竞品与相似项目 GitHub Search 真实检索

项目中文简介Stars语言
morluto/rea 中文介绍暂未生成
Reverse engineer anything with agents, from app behavior dow
449,656 TypeScript
openclaw/openclaw 中文介绍暂未生成
The AI that really does things. Any OS. Any Platform. The lo
394,300 TypeScript
obra/superpowers 中文介绍暂未生成
An agentic skills framework & software development methodolo
315,683 Shell
NousResearch/hermes-agent 中文介绍暂未生成
The agent that grows with you
262,413 Python
n8n-io/n8n 中文介绍暂未生成
Fair-code workflow automation platform with native AI capabi
210,014 TypeScript
firecrawl/firecrawl 中文介绍暂未生成
Supercharge your AI agents with data from the web and beyond
200,468 TypeScript
以上为通过 GitHub 官方 Search API 检索的相似项目,功能差异与优劣势需进一步人工确认,配置 AI 后可生成对比分析。

项目优势与风险

技术成熟度创建于 2025-01-23,近 30 天仍在推送,发布过 2 个 Release
社区活跃Star 13,413 / Fork 1,543 / Issue 44(数据支持,可自行核实)
许可证Apache-2.0
主要风险上游项目方向可能变化;同赛道竞争者较多(见竞品表);热度与需求不完全等价

安装与使用

快速开始(以仓库 README 为准)
git clone https://github.com/multimodal-art-projection/YuE.git
cd YuE
# 请阅读仓库 README 获取确切安装步骤(依赖、配置、启动命令)
阅读原仓库文档
术语说明:Docker=应用容器(把程序和依赖打包运行);API Key=调用外部服务的密钥;Git Clone=把仓库代码下载到本地。常见错误:API Key 未配置 / 端口占用 / 数据库连接失败,多数项目在 README 的 Troubleshooting 章节有说明。