YuE

YuE 是由香港科技大学与 Multimodal Art Projection 团队联合开发的一款开源 AI 音乐生成模型。该模型能够将输入的歌词转化为完整的歌曲，涵盖多种音乐风格，包括流行、金属、爵士和嘻哈等，并支持英语、中文、日语及韩语等多种语言。通过语义增强音频分词器、双分词技术、歌词链式思维生成以及三阶段训练方案，YuE 解决了长上下文处理、复杂音乐信号生成和语言内容失真等问题，确保生成的音乐结构连贯、旋律吸引人。模型代码完全开源，用户可自由使用和修改，并可通过命令行参数灵活调整生成风格和声乐类型。 YuE 的核心技术包括语义增强音频分词器，用于提升歌词与音乐的匹配度；双分词技术，实现主唱与伴奏的同步生成；歌词链式思维生成，保障歌曲整体结构的连贯性；以及三阶段训练方案，提升音乐质量和可控性。项目提供官方网站、GitHub 仓库和 HuggingFace 模型库，便于用户访问和使用。 YuE 可广泛应用于音乐创作、影视配乐、游戏音效、社交媒体内容制作等多个领域，为用户提供高效、高质量的音乐生成解决方案。