PersonaTalk

PersonaTalk是由字节跳动研发的一种基于注意力机制的两阶段框架，旨在实现高保真度和个性化的视觉配音。该工具通过第一阶段的风格感知音频编码与唇形同步几何生成，以及第二阶段的双注意力面部渲染器，能够生成与目标音频精准唇形同步且保留说话者独特风格和面部细节的视频。相比现有技术（如Wav2Lip、VideoReTalking、DINet和IP_LAP），PersonaTalk在视觉质量、唇形同步精度和个性化表达上表现出色，达到了与特定人方法相媲美的效果。