动作生成

EMO2

EMO2是一种由阿里巴巴智能计算研究院开发的音频驱动头像视频生成技术,通过音频输入和静态人像照片生成高质量、富有表现力的动态视频。其核心技术包括音频与手部动作的协同建模、扩散模型生成视频帧,以及高精度音频同步。该工具支持多样化动作生成,适用于虚拟现实、动画制作和跨语言内容创作等场景,具备自然流畅的视觉效果和丰富的应用场景。

Sitcom

Sitcom-Crafter是一款由多所高校联合开发的3D场景人类动作生成系统,能够根据剧情描述生成多样化、符合物理规律的动作,包括行走、交互及多人协作。系统具备八大模块,包含核心动作生成与增强功能,如碰撞修正、运动同步与手部姿态检索。其核心技术包括3D场景感知与自监督SDF策略,无需额外数据即可生成自然动作。适用于动画、游戏、VR/AR、影视及教育等多个领域,提升创作效率与智能化水平。

灵犀 X2

灵犀 X2 是智元机器人推出的双足人形机器人,具备 28 个自由度和高灵活性,可完成跳舞、奔跑、骑车等复杂动作。搭载 Diffusion 动作生成引擎和多模态交互系统,支持情感识别与毫秒级响应。适用于家庭服务、教育、医疗护理、工业协作及娱乐场景,具备强大的环境感知与任务执行能力。

MoMask

MoMask是一款基于生成式掩码建模的3D人体动作生成工具,支持文本驱动的动作创建与编辑。采用分层量化与Transformer架构,实现高精度、连贯的3D动作序列生成,在HumanML3D数据集上的FID值仅为0.045。支持动作时序控制、多平台部署及动作评估功能,适用于游戏开发、动画制作、VR及体育分析等多个领域。

Loopy

Loopy是一款由字节跳动开发的音频驱动的AI视频生成模型。该模型能够将静态照片转化为具有面部表情和头部动作的动态视频,与给定的音频文件同步。Loopy利用先进的扩散模型技术,无需额外的空间信号或条件,捕捉并学习长期运动信息,从而生成自然流畅的动作。其主要功能包括音频驱动、面部动作生成、无需额外条件以及长期运动信息捕捉。Loopy适用于娱乐、教育、影视制作等多种场景。

HumanDiT

HumanDiT是一种由浙江大学与字节跳动联合开发的高保真人体视频生成框架,基于扩散变换器(DiT)实现姿态引导的视频生成。它支持长序列、多分辨率视频生成,并通过关键点扩散变换器(Keypoint-DiT)确保动作的连贯性与自然性。引入前缀潜在参考策略以保持个性化特征,结合姿态适配器和细化模块提升细节质量。适用于虚拟人、动画制作、沉浸式体验及视频续写等多种场景。

SmolVLA

SmolVLA是Hugging Face开源的轻量级视觉-语言-行动(VLA)模型,专为经济高效的机器人设计。拥有4.5亿参数,可在CPU上运行,单个消费级GPU即可训练,适合在MacBook上部署。它能够处理多模态输入,生成动作序列,并通过异步推理提高控制效率。适用于物体抓取、家务劳动、货物搬运和机器人教育等场景。

FantasyTalking

FantasyTalking是一种由阿里巴巴AMAP团队与北京邮电大学联合开发的AI工具,能够从静态肖像生成高质量、可动画化的虚拟形象。该工具采用双阶段视听对齐策略,结合面部专注的交叉注意力模块和运动强度调制模块,实现精准口型同步、丰富表情生成及全身动作控制。支持多种风格和姿态,适用于游戏、影视、VR/AR、虚拟主播及教育等领域。

Being

Being-M0是由北京大学、中国人民大学等机构联合研发的首个大规模人形机器人通用动作生成模型。基于百万级动作数据集 MotionLib 和 MotionBook 编码技术,实现动作序列的高效表示与生成。该模型支持文本驱动动作生成、动作迁移及多模态数据处理,可应用于人形机器人控制、动画制作、VR/AR、人机交互及运动康复等多个领域,显著提升动作生成的多样性和语义对齐精度。

Seer

Seer是一款由多家科研机构联合开发的端到端机器人操作模型,基于Transformer架构实现视觉预测与动作执行的高度协同。它能够融合多模态信息,具备强大的泛化能力和数据效率,在真实机器人任务中表现优异。Seer适用于工业自动化、服务机器人、医疗健康等多个领域,支持精准动作预测和未来状态预判,显著提升了机器人系统的智能化水平。