Magic Animate

Magic Animate是一项创新的开源动画工具，它能将单张静态图片与动态视频结合，生成生动的动画视频。具体来说，用户只需提供一张参考图片和一个动作序列视频，系统就能自动生成保持原人物特征且跟随动作运动的动画。该项目由新加坡国立大学Show Lab与字节跳动联合开发。

虽然Magic Animate在舞蹈视频处理方面具有出色的连贯性，但在处理面部和手部时可能出现轻微变形。默认设置可能导致风格变化，特别是视频中的面部特征可能从动漫风格变为写实风格。此外，使用动漫风格处理DensePose驱动的视频时，可能会改变身体比例。

Magic Animate官网地址：www.magicanimate.org

MagicAnimate 的核心功能：

• 将静态图片与动态视频结合生成动画

• 保持时间连贯性

• 保留原始图像特征

• 提升动画真实感

• 与DALLE3等文本转图像模型兼容

• 支持跨身份动画制作

• 通过文字提示生成动画

• 在舞蹈视频中保持高度一致性

如何使用MagicAnimate？

使用前需要下载StableDiffusion V1.5和MSE-finetuned VAE的基础模型。安装必要依赖并激活conda环境后，上传人物照片和动作示范视频，调整参数即可。用户可选择在Huggingface或Replicate平台体验在线演示，也可通过Replicate API编程生成动画视频。