动画生成

SyncAnimation

SyncAnimation是一款基于音频驱动的实时动画生成框架,能够生成与音频同步的上半身姿态和面部表情,包括嘴唇动作。采用NeRF技术,结合音频到姿态和表情的同步模块,实现实时渲染与高精度动画生成。支持多种推理方式,具备高同步性和自然表现力,适用于虚拟主播、视频会议、动画制作、游戏开发及智能客服等多个领域。

Animate Anyone 2

Animate Anyone 2 是由阿里巴巴通义实验室开发的高保真角色动画生成技术,能基于输入图像和运动信号生成高质量、自然流畅的角色动画。通过环境感知、形状无关掩码策略、物体交互增强等技术,实现角色与环境的深度融合,提升动画的真实感与稳定性。支持复杂动作处理、多角色互动及跨身份动画生成,适用于影视、广告、VR/AR、游戏及教育等多个领域。

AvatarGO

AvatarGO是由南洋理工大学、上海AI Lab和香港大学联合开发的AI框架,能够根据文本描述生成高质量的4D人体与物体交互场景。其核心在于利用LLM引导的接触重定位、空间感知的分数蒸馏采样和运动优化技术,实现精确的接触识别与动画生成,有效解决穿透问题。支持多种人物与物体组合,适用于虚拟导购、展厅讲解、VR/AR内容创作等多个领域。

ARTalk

ARTalk是由东京大学与日本理化学研究所联合开发的语音驱动3D头部动画生成框架,基于自回归模型实现实时、高同步性的唇部动作和自然表情生成。它通过多尺度运动码本和滑动时间窗口技术提升动画质量,并引入风格编码器实现个性化风格适配。该工具在唇部同步、表情自然性和风格一致性方面优于现有技术,适用于虚拟现实、游戏开发、动画制作及人机交互等领域。

Uthana

Uthana是一款基于AI的3D角色动画生成平台,支持通过文字描述、参考视频或动作库快速生成逼真动画。其核心功能包括动作搜索、骨骼适配、风格迁移、API集成等,适用于游戏开发、影视制作、虚拟角色设计等多个领域。平台提供灵活的输出格式和编辑工具,帮助用户高效完成动画创作。

LHM

LHM是由阿里巴巴通义实验室推出的3D人体模型重建系统,能从单张图像快速生成高质量、可动画化的3D人体模型。基于多模态Transformer架构,融合3D几何与2D图像信息,保留服装与面部细节,并采用3D高斯点云表示方式,支持实时渲染和姿态控制。适用于AR/VR、游戏开发、影视制作及教育等多个领域,具备高保真、强泛化和低延迟等优势。

MoCha

MoCha 是一款由 Meta 与滑铁卢大学联合开发的端到端对话角色视频生成模型,支持语音与文本驱动的角色动画生成,具备全身动作模拟与多角色对话交互能力。其核心技术包括扩散变压器架构和语音-视频窗口注意力机制,确保动画与语音精准同步。适用于虚拟主播、影视动画、教育内容及数字人客服等多个领域,提升了内容创作效率与表现力。

EasyControl

EasyControl是基于扩散变换器(DiT)架构的高效控制框架,采用轻量级LoRA模块实现多条件控制,支持图像生成、风格转换、动画制作等任务。其具备位置感知训练范式和因果注意力机制,优化计算效率,提升生成质量与灵活性,适用于多种图像处理场景。

FaceShot

FaceShot是由同济大学、上海AI Lab和南京理工大学联合开发的无需训练的肖像动画生成框架。通过外观引导的地标匹配和基于坐标的地标重定位模块,生成精确的面部地标序列,并结合预训练模型生成高质量动画。其优势在于无需训练、跨领域适配性强、兼容性好,适用于影视、游戏、教育、广告及VR/AR等多个应用场景。

Sketch2Anim

Sketch2Anim是由爱丁堡大学、Snap Research与东北大学联合开发的AI工具,可将2D草图故事板自动转换为高质量3D动画。基于条件运动合成技术,支持精确控制动画生成,包含多条件运动生成器和2D-3D神经映射器两大核心模块。具备交互式编辑功能,提高动画制作效率与灵活性,适用于影视、游戏、广告、教育及VR/AR等多个领域。