扩散模型
AniPortrait
AniPortrait是一款由腾讯开源的AI视频生成框架，通过音频和一张参考肖像图片生成高质量的动画。该框架包含两个核心模块：Audio2Lmk模块将音频转换为2D面部标记点，而Lmk2Video模块则基于这些标记点生成连贯且逼真的视频动画。AniPortrait以其高质量的视觉效果、时间一致性和灵活的编辑能力著称，能够精确捕捉面部表情和嘴唇动作。
Animate Anyone
Animate Anyone是一款由阿里巴巴智能计算研究院开发的开源框架，旨在将静态图像中的角色或人物动态化。它采用扩散模型，结合ReferenceNet、Pose Guider姿态引导器和时序生成模块等技术，确保输出的动态视频具有高度一致性和稳定性。该框架支持多种应用，包括角色动态化、时尚视频合成及人类舞蹈生成，用户可通过GitHub或Hugging Face社区轻松体验。
