ConsistentDreamer

ConsistentDreamer 是华为慕尼黑研究中心开发的一种新型图像到 3D 资产生成技术，能够通过单张图像生成具有多视图一致性的 3D 网格。该方法利用多视图先验图像引导的高斯优化策略，有效解决了传统方法在多视角一致性方面的不足。首先，系统生成一组固定视角的多视图图像，随后基于分数蒸馏采样（SDS）损失和扩散模型对 3D 模型进行粗略形状优化。通过动态任务权重平衡粗略形状与精细细节的优化过程，并引入不透明度、深度失真和法线对齐损失，进一步提升表面质量与纹理清晰度。 ConsistentDreamer 具备多项核心功能，包括增强的 3D 一致性、高分辨率纹理生成、复杂图案编辑能力、多视图上下文输入、并行化编辑流程以及指令引导的场景编辑。其技术原理涵盖多视图先验图像引导、分数蒸馏采样、动态任务权重平衡、多种损失函数设计以及多视图上下文输入与一致性训练。该项目已在 arXiv 上发布相关论文，适用于复杂场景的高保真编辑、多样化风格转换及物体特定编辑等应用场景。