Sitcom-Crafter简介
Sitcom-Crafter是由北京航空航天大学、香港中文大学（深圳）、悉尼科技大学和中山大学等高校联合研发的3D场景中人类动作生成系统。该系统基于用户提供的长剧情描述，生成多样且符合物理规律的动作，涵盖人物行走、与环境互动以及人物之间的交互。系统包含八大模块，其中三个核心模块负责动作生成，五个增强模块用于提升动作流畅性、同步性和碰撞避免能力。通过创新的3D场景感知技术和自监督SDF策略，Sitcom-Crafter能够在不依赖额外数据采集的情况下，生成符合物理逻辑的动作，显著提高动画和游戏设计的效率。
Sitcom-Crafter的主要功能
- 人类行走：支持角色在3D场景中自然移动。
- 人类与场景交互：实现角色与环境物体的合理互动。
- 人类之间交互：生成协调的人际动作，减少碰撞并优化同步性。
- 增强功能：
- 剧情解析：自动将剧本拆解为具体动作指令。
- 运动同步：确保各模块生成动作的时间一致性。
- 手部姿态增强：检索数据库中的手部姿态以提升动作自然度。
- 碰撞修正：自动检测并修正人物间的碰撞。
- 3D重定向：将动作映射至现有3D模型，提升视觉效果。
Sitcom-Crafter的技术原理
- 运动生成模块：
- 人类行走生成：基于GAMMA等方法，通过深度学习模型生成行走动作。
- 人与场景交互生成：结合DIMOS等技术，生成人物与环境的交互动作。
- 人与人交互生成：利用自监督场景感知方法生成多人交互，考虑相对位置与运动。
- 场景感知技术：
- SDF点合成：模拟障碍物，增强场景感知能力。
- 碰撞检测与修正：通过SDF点检测并修正碰撞。
- 剧情理解与命令生成：使用大型语言模型解析剧情文本，转化为具体的动作指令。
- 增强模块：
- 运动同步：采用插值技术确保动作时间平滑。
- 手部姿态检索：通过CLIP模型获取匹配的手部姿态。
- 碰撞修正：调整路径或速度以避免碰撞。
- 3D重定向：将动作适配至高质量3D人物模型。
- 统一的运动表示：采用标记点作为统一运动表示，兼容多种数据源。
Sitcom-Crafter的项目信息
- 项目官网：https://windvchen.github.io/Sitcom-Crafter/
- GitHub仓库：https://github.com/WindVChen/Sitcom-Crafter
- arXiv技术论文：https://arxiv.org/pdf/2410.10790
Sitcom-Crafter的应用场景
- 动画制作：快速生成角色动作，减少人工工作量。
- 游戏开发：为NPC设计自然行为，提升沉浸感。
- 虚拟现实（VR）和增强现实（AR）：生成自然的虚拟角色交互。
- 影视制作：用于早期创意验证和特效设计。
- 教育和培训：生成模拟教学角色，支持复杂场景教学。
发表评论 取消回复