MotionCanvas

MotionCanvas是由香港中文大学、Adobe研究院和莫纳什大学联合开发的一种图像到视频（I2V）生成技术，能够将静态图像转化为具有丰富动态效果的视频内容。该系统引入了运动设计模块，使用户能够在图像上直观规划相机与物体的运动轨迹，实现复杂的镜头设计。通过运动信号转换模块，系统可将用户在3D场景中的运动意图准确转化为2D屏幕空间的控制信号，从而驱动视频扩散模型生成高质量视频。MotionCanvas支持对相机和物体运动进行联合控制，实现对视频中物体局部运动的精细调节，并支持生成长视频，适用于多种应用场景。