3D

SAM2Point

SAM2Point是一种基于SAM2的3D分割技术,无需额外训练或2D-3D投影,即可直接对任意3D数据进行零样本分割。该工具通过将3D数据体素化,并将其模拟为多方向视频流,实现精确的空间分割。SAM2Point支持多种3D提示类型,如点、框和掩码,展现了在多种场景下的泛化能力,包括3D物体、室内室外环境以及LiDAR数据,为未来的3D可提示分割研究提供了新起点。

MagicMan

MagicMan是由多个顶尖研究机构联合开发的AI工具,主要功能是从单张2D图像生成高质量的3D人类模型。它结合了预训练的2D扩散模型和参数化的SMPL-X模型,并通过混合多视角注意力机制和迭代细化策略,实现精确的3D感知和图像生成。MagicMan在游戏、电影、虚拟现实、时尚、零售和教育等多个领域有广泛应用,能够显著提高角色设计的真实感和多样性。

ViewCrafter

ViewCrafter是一种由北京大学、香港中文大学和腾讯合作开发的先进视频扩散模型。它能够从单一或少量图像中合成高质量的新视图,结合视频扩散模型和基于点的3D表示,通过迭代视图合成策略和相机轨迹规划生成多样化的视图。该模型在多个数据集上展示了强大的泛化能力和性能,适用于实时渲染、沉浸式体验及场景级文本到3D生成等多种应用场景。

VFusion3D

VFusion3D 是一个由Meta和牛津大学研究团队共同开发的AI生成3D模型工具,可以从单张图片或文本描述生成高质量的3D对象。它通过微调预训练的视频AI模型生成合成的3D数据,解决了3D训练数据稀缺的问题。该工具具备快速生成3D模型、多视角渲染、高质量输出等功能,并广泛应用于虚拟现实、游戏开发、电影制作和3D打印等领域。

MotionGen

MotionGen是一款由元象科技开发的3D动作生成模型,它结合了大模型、物理仿真和强化学习算法,使得用户通过简单的文本指令就能生成逼真且流畅的3D动作。该工具简化了3D动画的制作过程,提升了创作效率。其主要功能包括文本到动作的转换、高度逼真和流畅的动作生成、个性化定制、高效的制作流程和技术融合。

Omages

Omages是一个开源的3D模型生成项目,基于图像扩散技术将3D形状的几何和纹理信息编码到64×64像素的2D图像中。该工具不仅提高了3D对象生成的效率,还在低分辨率下保留丰富的细节。Omages支持3D对象生成、几何和纹理编码、多图谱表示以及自动材质生成等功能。它适用于3D打印与制造、虚拟现实、增强现实、游戏开发、电影和动画制作及室内设计等多种应用场景。

SuperCraft

SuperCraft是一款基于生成式AI技术的无限协作画布设计平台,能够将手绘草图或文本描述转化为高质量的2D图像和3D渲染。平台提供3D模型导出功能,支持团队协作,具备3D渲染和可视化能力,简化复杂项目的节点式流程设计,旨在提升设计师的工作效率和设计质量。

Sapiens

Sapiens是由Meta实验室开发的AI视觉模型,主要用于解析图片和视频中的人类动作。它支持2D姿态估计、身体部位分割、深度估计和表面法线预测等功能,采用视觉变换器架构。Sapiens具有强大的泛化能力,适用于虚拟现实、增强现实、3D人体数字化、人机交互、视频监控分析、运动捕捉及医学成像与康复等多个领域。

HeadGAP

HeadGAP是一款由字节跳动和上海科技大学联合研发的3D头像生成模型。该模型利用少量图片即可生成高度逼真的3D头像,具备高保真度、动画鲁棒性和多视图一致性等特点。HeadGAP通过先验学习、高斯Splatting网络、身份共享编码及部分动态建模等技术,实现了逼真的3D头像生成,并适用于虚拟社交、游戏开发、电影和动画制作等多种应用场景。

IMAGDressing

IMAGDressing是一款由华为与腾讯合作开发的AI换衣工具,支持用户通过模块化方式设计服装并在虚拟环境中试穿。该工具集成了多种先进技术,包括3D建模、图形渲染、物理模拟、用户交互、机器学习和虚拟现实技术,能够实现高度逼真的虚拟试衣效果。IMAGDressing适用于电子商务、时尚设计、虚拟时尚秀和社交媒体等多种应用场景,能够提高用户体验和工作效率。