AniTalker

AniTalker是一款由上海交通大学X-LANCE实验室和思必驰AISpeech的研究人员共同开发的AI工具，旨在将单张静态人像与输入的音频转换成生动的动画对话视频。该工具利用自监督学习策略来捕捉面部复杂的动态表现，包括微妙的表情和头部动作。AniTalker采用通用运动表示和身份解耦技术，减少对标记数据的依赖，同时结合扩散模型和方差适配器，生成多样且可控的面部动画。此外，AniTalker还支持视频驱动和语音驱动两种方式，能够实时控制动画的生成。