Hi3DGen

Hi3DGen是由香港中文大学（深圳）、字节跳动和清华大学联合开发的一种高保真3D几何生成框架。该框架能够基于2D图像生成具有丰富细节的高质量3D模型，其核心在于使用法线图作为中间表示，从而显著提升生成效果。Hi3DGen由三个关键组件构成：图像到法线估计器、法线到几何学习方法以及3D数据合成管道。 在技术实现上，图像到法线估计器通过噪声注入与双流训练机制，将图像的低频与高频信息分离，从而生成稳定且精确的法线图。法线到几何学习方法则利用法线图进行正则化，提高3D几何生成的准确性。此外，Hi3DGen还包含一个用于构建高质量3D数据集的合成管道，并采用两阶段生成流程：第一阶段生成低分辨率的多视角图像，第二阶段进行细化以提升图像质量。最后，结合3D高斯散射与SDF重建技术，进一步优化3D模型的细节与结构。 Hi3DGen适用于多个领域，包括游戏开发、影视制作、3D可视化、虚拟摄影、文物保护及医学成像等，为从2D图像生成高质量3D模型提供了高效解决方案。