Matrix3D

Matrix3D 是由南京大学、苹果公司和香港科技大学联合开发的一种新型统一摄影测量模型。该模型能够在单一框架内完成多个摄影测量任务，包括姿态估计、深度预测和新视图合成。其核心技术为多模态扩散变换器（DiT），能够融合图像、相机参数和深度图等多种数据源，实现灵活的任务处理。在训练过程中，Matrix3D 采用掩码学习策略，即使在部分数据缺失的情况下，也能基于双模态数据进行全模态训练，从而提升数据利用率与模型泛化能力。此外，该模型支持多轮交互，用户可通过逐步输入信息优化生成结果，在3D内容创作中展现出高度的灵活性。 Matrix3D 提供了多项核心功能，包括从稀疏图像中进行姿态估计、生成高质量深度图、合成新视角图像、以及结合多种技术进行3D重建。其技术原理涵盖多模态扩散变换器、掩码学习、统一概率模型、3D高斯溅射优化及数据归一化等，确保模型具备强大的跨模态处理能力和稳定性。目前，Matrix3D 已在虚拟现实、游戏开发、影视制作、建筑设计和虚拟试穿等多个领域展现出广泛的应用潜力。