3D
Perception
Perception-as-Control是由阿里巴巴通义实验室开发的图像动画框架,支持对相机和物体运动的细粒度控制。它基于3D感知运动表示,结合U-Net架构的扩散模型,实现多种运动相关的视频合成任务,如运动生成、运动克隆、转移和编辑。通过三阶段训练策略,提升运动控制精度和稳定性,适用于影视、游戏、VR/AR、广告及教育等多个领域。
RealisHuman
RealisHuman 是一个用于优化生成图像中人体部位的后处理框架,采用两阶段方法提升手部和面部等部位的真实性。它通过参考原始图像生成逼真结构,并重新绘制周围区域实现无缝融合,支持多种图像风格,适用于游戏、影视、艺术等领域。