腾讯混元3D,全称Hunyuan3D-1.0,是腾讯推出的一款支持文本和图像生成3D资产的开源模型,解决了现有3D生成模型在速度和泛化能力上的不足。

该模型基于Diffusion技术,配备文本和图像编码器、扩散模型及3D解码器,能够实现多视图生成、重建及单视图生成。腾讯混元3D大模型能快速生成高质量3D物体,适用于多种下游应用。

腾讯混元3D技术特点与创新:

快速生成:轻量版模型在10秒内生成高质量3D资产,支持快速单图生成3D,包括mesh和texture提取。

两阶段生成方法:Hunyuan3D-1.0采用多视图生成和多视图重建的两步流程。首先,通过多视角扩散模型合成新图像,然后使用基于Transformer的大规模重建模型处理这些图像,最终生成3D资产。

自适应CFG技术:在多视图生成阶段,通过调整不同视角的classifier-free guidance(CFG)尺度值,确保生成的图像既接近输入又具有多样性。

开源全面性:模型权重、推理代码、算法等全部开放,提供轻量版和标准版,轻量版能在A100 GPU上约10秒生成3D资产,大幅降低3D内容创作门槛。

强大的泛化能力:模型泛化能力和可控性强,可重建各类尺度物体,从建筑到工具花草,适应多种创作需求。

腾讯混元3D性能与应用:

  • 超越SOTA:在定性和定量评估中,Hunyuan3D-1.0的表现超越了其他开源模型,特别是在生成速度和泛化能力方面。

  • 应用广泛:Hunyuan3D技术已应用于腾讯的多个业务场景,如腾讯地图的3D车标重建速度提升了91%。还有腾讯地图,基于混元3D大模型,推出了自定义3D导航车标功能,用户可以创作个性化的3D导航车标,相比传统方案,速度提升了91%,上线了“3D角色梦工厂”功能,支持个性化的3D人物生成,为用户提供了更多创作自由。

  • 行业影响:Hunyuan3D-1.0的开源为游戏开发、影视制作、虚拟现实等领域提供了强大的工具,促进了AI生成3D内容的创新和应用。

腾讯混元3D应用场景:

  • 游戏开发:生成高质量的游戏角色、道具、建筑等3D资产,大幅提升游戏开发效率

  • 影视动画:为创作者自动生成3D影视角色及动作效果,辅助完成动画创作

  • 电商广告:根据广告创意主题生成3D商品,实现互动特效,提升广告内容创意

  • 虚拟现实(VR)/增强现实(AR):生成逼真的3D虚拟环境元素及互动内容,增强沉浸式体验

腾讯混元3D生成大模型“Hunyuan3D-1.0”已于11月5日正式开源。该模型是业界首个同时支持文字、图像生成3D的开源大模型,提供轻量版和标准版两种选择。轻量版仅需10秒即可生成高质量3D资产,适用于企业及开发者的精调和部署需求。Hunyuan3D将大大促进3D资产的生成效率,为开发者提供更多的创作机会。

Github项目:https://github.com/Tencent/Hunyuan3D-1

Hugging Face:https://huggingface.co/tencent/Hunyuan3D-1

评论列表 共有 0 条评论

暂无评论

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部