字节跳动
LatentSync
LatentSync是由字节跳动与北京交通大学联合研发的端到端唇形同步框架,基于音频条件的潜在扩散模型,无需中间3D或2D表示,可生成高分辨率、动态逼真的唇同步视频。其核心技术包括Temporal Representation Alignment (TREPA)方法,提升视频时间一致性,并结合SyncNet监督机制确保唇部动作准确。适用于影视制作、教育、广告、远程会议及游戏开发等多个领域。
Seaweed APT
Seaweed APT是字节跳动研发的对抗性后训练模型,支持图像和视频的一站式生成。其通过在真实数据上进行对抗性训练,实现单步高质量输出,包括1024px图像和1280×720、24fps视频。该模型采用先进的生成器和判别器设计,结合近似R1正则化技术,提升训练稳定性和生成质量。适用于视频广告、影视创作、社交媒体等内容生产场景。