VoiceCraft
VoiceCraft是一款开源的神经编解码器语言模型，专攻零样本语音编辑和文本到语音（TTS）任务。它采用Transformer架构，通过token重排过程结合因果掩蔽和延迟叠加技术，实现在现有音频序列内高效生成自然的语音。VoiceCraft在多种口音、风格和噪声条件下表现出色，适用于有声读物制作、视频内容创作、播客音频编辑及多语言内容生产等场景。
零样本
Freestyler
Freestyler是一款由多机构合作开发的AI工具，专注于说唱音乐的自动化生成。它通过结合语言模型、条件流匹配技术和神经声码器，实现了从歌词和伴奏到高质量说唱音频的全流程转化。Freestyler还推出了RapBank数据集，并支持零样本音色控制，广泛应用于音乐创作、现场表演、游戏音效及教育等领域。
Hummingbird
Hummingbird-0 是一款基于深度学习的 AI 口型同步工具，支持零样本学习，无需额外训练即可快速生成高质量口型同步视频。它兼容多种格式，支持最长 5 分钟视频处理，1 分钟内生成 10 秒视频，适用于影视制作、广告、本地化翻译及 AI 内容创作等场景。通过多模态融合技术，实现音频与视频的精准匹配，提升内容表现力。
Large Motion Model
Large Motion Model（LMM）是一款由新加坡南洋理工大学S-Lab和商汤科技合作研发的多模态运动生成框架。它支持从文本、音乐等多种模态生成逼真运动序列，具备高度精准的身体部位控制能力和强大的泛化能力。通过整合多样化的MotionVerse数据集以及创新性的ArtAttention机制和预训练策略，LMM在多个领域展现出高效的应用潜力，包括动画、虚拟现实、影视特效及运动分析等。
