同步
MultiFoley
MultiFoley是一款基于多模态控制的音效生成系统,能够根据文本、音频或视频输入生成与视频同步的高质量Foley声音效果。它支持文本驱动和音频驱动的音效生成,同时具备音频扩展和质量控制功能,广泛应用于电影、游戏、动画及虚拟现实等领域,为用户提供灵活且高效的声音设计解决方案。
LatentSync
LatentSync是由字节跳动与北京交通大学联合研发的端到端唇形同步框架,基于音频条件的潜在扩散模型,无需中间3D或2D表示,可生成高分辨率、动态逼真的唇同步视频。其核心技术包括Temporal Representation Alignment (TREPA)方法,提升视频时间一致性,并结合SyncNet监督机制确保唇部动作准确。适用于影视制作、教育、广告、远程会议及游戏开发等多个领域。
