JoyVASA

JoyVASA是由京东健康国际公司开发并开源的音频驱动数字人头项目，基于扩散模型技术生成与音频同步的面部动态和头部运动。该项目通过解耦面部表示，实现唇形同步和表情控制，并扩展至动物头像的动画生成。JoyVASA支持多语种和跨物种动画化，具有广泛的应用潜力。项目采用两阶段训练方法，先分离静态面部特征与动态运动特征，再通过扩散变换器从音频特征中生成运动序列。最终生成的高分辨率动画视频适用于多种场景。