KeySync

KeySync简介

KeySync是由帝国理工学院和弗罗茨瓦夫大学联合开发的一种高分辨率口型同步框架，旨在将输入音频与视频中人物的唇部动作进行精准对齐。该工具采用两阶段生成机制，首先提取关键帧以捕捉音频中的主要唇部运动，随后通过插值生成平滑过渡帧。KeySync引入了新的掩码策略，有效降低视频中表情泄露问题，并结合视频分割模型自动处理遮挡情况。在视觉质量、时间连贯性及唇部同步精度方面，KeySync均优于现有方法，具备广泛的实际应用潜力。

KeySync的核心功能

• 高分辨率口型同步：支持生成512×512高清视频，实现音频与唇部动作的精确匹配。
• 减少表情泄露：优化算法以降低视频中非目标表情的干扰，提升同步效果。
• 遮挡自动处理：在推理过程中识别并排除遮挡物，确保生成视频自然流畅。
• 提升视觉质量：在多项指标评估中表现优异，生成视频具有更高的清晰度和一致性。

KeySync的技术架构

• 两阶段生成框架：
  • 关键帧生成：提取稀疏关键帧，准确反映音频内容，同时保留人物身份特征。
  • 插值生成：通过插值技术生成中间帧，实现唇部动作的平滑过渡。
• 潜扩散模型：在低维潜空间中进行去噪操作，提升计算效率，逐步生成结构化视频数据。
• 掩码策略：基于面部关键点设计掩码，防止表情泄露，结合视频分割模型实现遮挡处理。
• 音频与视频对齐：使用HuBERT音频编码器提取特征，并通过注意力机制嵌入视频生成模型。
• 损失函数：结合潜空间损失与像素级L2损失，优化视频生成质量。

KeySync项目信息

• 项目官网：https://antonibigata.github.io/KeySync/
• GitHub仓库：https://github.com/antonibigata/keysync
• HuggingFace模型库：https://huggingface.co/toninio19/keysync
• arXiv技术论文：https://arxiv.org/pdf/2505.00497
• 在线体验Demo：https://huggingface.co/spaces/toninio19/keysync-demo

KeySync的应用场景

• 自动配音：用于多语言影视、广告等内容制作，增强语音与唇部动作的一致性。
• 虚拟形象：为虚拟角色生成真实感强的唇部动作。
• 视频会议：优化远程沟通中的唇部同步效果。
• 无障碍内容：辅助听力障碍者理解视频内容。
• 内容修复：用于替换或修复视频中的唇部动作。