ACTalker

ACTalker 是一种基于端到端视频扩散框架的工具，专门用于生成高度逼真的说话人头部视频。该系统支持单信号或多信号控制，例如音频、表情等，能够根据不同的驱动信号生成自然流畅的面部动作。其核心架构采用并行 Mamba 结构，通过多个分支分别处理不同类型的驱动信号，并结合门控机制和掩码丢弃策略，实现对视频生成过程的灵活控制。在 CelebV-HQ 数据集上的测试结果显示，ACTalker 在音频同步性和视频质量方面表现优异，具有较高的 Sync-C 和 Sync-D 分数以及较低的 FVD-Inc 分数。 ACTalker 的技术原理包括并行 Mamba 结构、门控机制、掩码丢弃策略（Mask-Drop）、状态空间建模（SSM）以及基于视频扩散模型的多分支控制模块。这些设计共同提升了视频生成的自然度与协调性。 该工具适用于虚拟主播、远程会议、在线教育、虚拟现实与增强现实、娱乐与游戏等多个场景，能够有效提升视频内容的真实感与互动性。