光流

Follow

Follow-Your-Click是一款由腾讯、清华大学和香港科技大学合作开发的图像到视频生成模型。它允许用户通过简单的点击和动作提示将静态图像转化为包含局部动画效果的动态视频。主要功能包括直观的用户界面、局部动画生成、多对象处理、简短动作提示、高质量视频生成及运动速度控制。其工作原理涉及用户交互、图像分割、第一帧遮罩策略、运动增强模块和基于光流的运动幅度控制。

NutWorld

NutWorld是由新加坡国立大学、南洋理工大学与Skywork AI联合开发的视频处理框架,能够高效地将单目视频转换为动态3D高斯表示(Gaussian Splatting)。它基于时空对齐高斯(STAG)表示法,实现视频的时空连贯建模,支持高保真视频重建和多种下游任务,如新视图合成、视频编辑、帧插值和深度预测。该工具具备实时处理能力,适用于视频创作、AR/VR、自动驾驶等多个领域。

AnimateAnything

AnimateAnything是一项由浙江大学与北京航空航天大学联合研发的统一可控视频生成技术。它能够根据相机轨迹、文本提示及用户动作注释等多样化控制信号生成高质量视频,并通过多尺度特征融合网络将这些信号转化为逐帧光流进行精准引导。此外,为解决大范围运动带来的视频闪烁问题,该技术采用了基于频率的稳定模块,显著增强了视频的时间稳定性。主要应用于影视制作、虚拟现实、游戏开发以及教育培训等多个领域。