Motionshop

Motionshop是由阿里巴巴智能计算研究院（XR实验室和TIDE三维渲染团队）开发的一款AI角色动画框架。它能够将视频中的角色转换为3D化身，同时保持视频中其他元素的完整性。Motionshop运用了视频处理、角色检测与分割、姿态分析、模型提取以及动画渲染等多项技术，从而实现了视频中角色从现实到虚拟的无缝转换。 该框架包含两个主要组成部分：一是用于背景视频修复的流程，二是用于生成3D虚拟角色的流程。Motionshop通过并行处理这两条线，并借助高性能的光线追踪渲染器TIDE，能够在短时间内完成整个视频的转换。 用户只需上传一段时长不超过15秒的视频，Motionshop将自动识别视频中的主要人物，并将其转换为3D角色。此外，它还能够精确复制原视频中人物的动作细节，确保3D角色的动作自然流畅。最后，Motionshop将生成的新3D角色与修复后的视频背景相结合，创造出跨越现实与虚拟界限的全新视频内容。