GenXD

GenXD是由新加坡国立大学与微软合作开发的3D-4D联合生成框架，能够利用任意数量的条件图像生成高质量的三维和四维场景。该框架通过数据整理流程从视频中提取相机姿态和物体运动信息，并借助大规模的4D数据集CamVid-30K进行模型训练。GenXD采用多视角时序模块分离相机与物体的运动，借助掩码潜在条件支持多种视角的条件生成，从而实现单一模型处理多种3D和4D生成任务。