MoCha

MoCha 是什么

MoCha 是由 Meta 与滑铁卢大学联合开发的端到端对话角色视频生成模型。该模型能够根据文本或语音输入，生成包含同步语音和自然动作的完整角色动画。MoCha 采用语音-视频窗口注意力机制，有效解决视频压缩过程中音频分辨率不匹配以及唇部动作错位的问题。其支持多角色轮换对话，可生成具有情感表达和全身动作的角色动画。

MoCha 的主要功能

• 语音驱动角色动画生成：用户输入语音，MoCha 可生成与语音内容同步的角色嘴型、面部表情、手势及身体动作。
• 文本驱动角色动画生成：用户输入文本脚本，MoCha 会先自动合成语音，再驱动角色进行完整的口型和动作表现。
• 全身动画生成：MoCha 能生成全身自然运动，包括嘴唇同步、手势以及多角色之间的互动。
• 多角色轮番对话生成：MoCha 提供结构化提示模板与角色标签，能自动识别对话轮次，实现角色间“你来我往”的自然对话呈现。用户只需定义一次角色信息，即可在不同场景中引用。

MoCha 的技术原理

• 扩散变压器（DiT）架构：MoCha 基于扩散变压器架构，通过交叉注意力机制将文本和语音条件融入模型，捕捉语义和时间动态，生成逼真且富有表现力的全身动作。
• 语音-视频窗口注意力机制：为解决语音-视频对齐问题，MoCha 引入该机制，限制每个视频标记仅关注相邻音频标记，提高口型同步准确性和语音-视频对齐效果。
• 联合训练策略：MoCha 同时基于语音和文本标注数据进行训练，增强模型在多样化角色动作上的泛化能力。
• 结构化提示模板：简化多角色对话描述，通过标签管理角色动作和互动，提升生成效果。
• 多阶段训练框架：根据镜头类型分类数据并逐步引入复杂任务，提升模型在不同场景下的表现。

MoCha 的项目地址

• 项目官网：https://congwei1230.github.io/MoCha/
• arXiv 技术论文：https://arxiv.org/pdf/2503.23307

MoCha 的应用场景

• 虚拟主播：可用于生成日常 Vlog、角色问答等内容，使虚拟主播更生动。
• 动画影视创作：支持 AI 自动配音与动画生成，降低制作成本，提升动画质量。
• 教育内容创作：可作为 AI 教师进行教学互动，提升内容吸引力。
• 数字人客服：用于拟人化企业客服，生成自然流畅的对话动画。