Sketch2Anim

Sketch2Anim是由爱丁堡大学、Snap Research与东北大学联合研发的自动化框架，能够将2D草图故事板直接转换为高质量的3D动画。该框架基于条件运动合成技术，通过3D关键姿势、关节轨迹和动作词对动画生成进行精确控制。其核心模块包括多条件运动生成器和2D-3D神经映射器，支持自然流畅的动画输出以及交互式编辑功能，显著提升了动画制作的效率与灵活性。

Sketch2Anim具备多项核心功能，包括自动将2D草图转换为3D动画、生成高质量且流畅的动画效果、支持用户实时调整关键姿势和轨迹，以及提升整体制作效率，实现快速迭代设计。

在技术实现上，Sketch2Anim采用多条件运动生成器，结合运动扩散模型、轨迹ControlNet和关键姿势适配器，以确保动画的精准控制。同时，2D-3D神经映射器通过共享嵌入空间实现2D草图与3D运动约束的对齐，进一步优化动画生成效果。此外，系统还引入运动融合与优化技术，提升片段过渡的平滑度，并利用HumanML3D数据集进行训练，增强模型的泛化能力。

Sketch2Anim适用于多个领域，如影视动画制作、游戏开发、广告宣传、教育培训及VR/AR应用等。

项目官网：https://zhongleilz.github.io/Sketch2Anim/ 技术论文：https://arxiv.org/pdf/2504.19189