AI动画
FlipSketch
FlipSketch 是一种创新的AI工具,能够将静态草图转化为基于文本描述的动画。它通过微调草图风格的帧生成、参考帧机制和双注意力合成技术,保持草图视觉特征的一致性,同时实现流畅的动态转换。FlipSketch 在保持手绘艺术性的同时提供直观的动画制作体验,适用于教育、影视、产品演示和数字艺术等领域。
Perception
Perception-as-Control是由阿里巴巴通义实验室开发的图像动画框架,支持对相机和物体运动的细粒度控制。它基于3D感知运动表示,结合U-Net架构的扩散模型,实现多种运动相关的视频合成任务,如运动生成、运动克隆、转移和编辑。通过三阶段训练策略,提升运动控制精度和稳定性,适用于影视、游戏、VR/AR、广告及教育等多个领域。
SyncAnimation
SyncAnimation是一款基于音频驱动的实时动画生成框架,能够生成与音频同步的上半身姿态和面部表情,包括嘴唇动作。采用NeRF技术,结合音频到姿态和表情的同步模块,实现实时渲染与高精度动画生成。支持多种推理方式,具备高同步性和自然表现力,适用于虚拟主播、视频会议、动画制作、游戏开发及智能客服等多个领域。