运动控制

TrackGo

TrackGo是一种先进的AI视频生成技术,利用自由形状的遮罩和箭头提供精确的运动控制。其核心技术TrackAdapter无缝集成到预训练的视频生成模型中,通过调整时间自注意力层来激活与运动相关的区域。TrackGo在视频质量、图像质量和运动忠实度方面表现出色,适用于影视制作、动画制作、虚拟现实(VR)、增强现实(AR)和游戏开发等多个领域。

DreamVideo

DreamVideo-2是一款由复旦大学和阿里巴巴集团等机构共同开发的零样本视频生成框架,能够利用单一图像及界定框序列生成包含特定主题且具备精确运动轨迹的视频内容。其核心特性包括参考注意力机制、混合掩码参考注意力、重加权扩散损失以及基于二值掩码的运动控制模块,这些技术共同提升了主题表现力和运动控制精度。DreamVideo-2已在多个领域如娱乐、影视制作、广告营销、教育及新闻报道中展现出广泛应用前

PixVerse V3.5

PixVerse V3.5是一款基于AI技术的视频生成工具,具备超高速视频生成、动漫效果自定义、高清画质输出及首尾帧平滑过渡等功能。它通过优化运动控制和细节表现,为用户提供流畅且精准的视频制作体验,适用于社交媒体内容创作及各类节日主题视频设计。

VideoAnydoor

VideoAnydoor是一款由多所高校与研究机构联合开发的视频对象插入系统,基于文本到视频的扩散模型,支持高保真对象插入与精确运动控制。其核心模块包括ID提取器和像素变形器,能实现对象的自然融合与细节保留。该工具适用于影视特效、虚拟试穿、虚拟旅游、教育等多个领域,具备良好的通用性和扩展性。

Perception

Perception-as-Control是由阿里巴巴通义实验室开发的图像动画框架,支持对相机和物体运动的细粒度控制。它基于3D感知运动表示,结合U-Net架构的扩散模型,实现多种运动相关的视频合成任务,如运动生成、运动克隆、转移和编辑。通过三阶段训练策略,提升运动控制精度和稳定性,适用于影视、游戏、VR/AR、广告及教育等多个领域。

Motion Dreamer

Motion Dreamer是由香港科技大学(广州)研发的视频生成框架,采用两阶段架构生成物理合理的视频内容。通过引入“实例流”实现从稀疏到密集的运动控制,支持用户以少量提示生成时间连贯的视频。其随机掩码训练策略增强了模型的推理能力与泛化性能,已在多个数据集上验证其优越性。适用于视频创作、动画制作、VR/AR及自动驾驶等多个领域。

ASAP

ASAP是一种由卡内基梅隆大学与英伟达联合开发的两阶段框架,用于解决仿人机器人在模拟与现实之间动力学不匹配的问题。它通过预训练阶段在模拟环境中学习运动策略,并在后训练阶段利用真实数据训练Delta动作模型,补偿动力学差异。该框架提高了机器人在复杂任务中的敏捷性、协调性和运动精度,支持多种应用场景,如体育、救援、工业、家庭服务及虚拟现实等,为仿人机器人的实际应用提供了高效的技术方案。

MotionCanvas

MotionCanvas是一种图像到视频生成工具,能将静态图像转化为动态视频。它提供相机与物体运动的联合控制,支持复杂轨迹设计和局部运动调整,具备3D感知能力,可生成高质量长视频。适用于电影制作、动画创作、VR/AR、游戏开发及教育等多个领域。

ToddlerBot

ToddlerBot是由斯坦福大学开发的开源人形机器人平台,具备30个主动自由度,采用Dynamixel电机,总成本低于6000美元。它支持模拟到现实的零样本迁移,可通过远程操作采集高质量数据,适用于运动控制、强化学习及多机器人协作等研究场景。其高保真数字孪生技术与易维护设计,使其成为科研和教育领域的理想工具。

Fourier N1

Fourier N1是一款由傅利叶推出的开源人形机器人,具备23个自由度,可完成复杂动作如单足站立、坡道通行和楼梯攀爬。搭载自研控制系统和FSA 2.0执行器,支持高速稳定运行。支持多模态交互,适用于教学、康复辅助、物流搬运、家务服务及灾难救援等领域,提供全面的开源资源以支持开发与研究。