3D场景

WonderWorld

WonderWorld是一款基于斯坦福大学和麻省理工学院合作研发的3D场景生成框架,通过Fast LAyered Gaussian Surfels(FLAGS)表示法与引导深度扩散技术,从单张图片快速生成连贯且多样化的虚拟场景。用户可实时交互,生成包括城市、自然、幻想等多种风格的3D环境,并适用于游戏开发、虚拟现实、增强现实以及建筑设计等多个领域。

MSQA

MSQA是一个包含251,000个问答对的大规模多模态情境推理数据集,支持文本、图像和点云等多种数据形式,旨在提升具身AI在三维场景中的理解与推理能力。通过设计MSQA和MSNN两个基准测试任务,该工具不仅能够评估模型性能,还能促进具身AI和3D场景理解领域的研究进展。同时,它为开发更强大的情境推理模型提供了丰富的预训练资源。

Explorer

Explorer是一款由Odyssey公司研发的生成性世界模型,主要功能包括将图像转换为高质量的3D场景,并支持动态效果生成。它利用高斯溅射技术和先进的图像识别算法,实现逼真的视觉效果。Explorer生成的场景可无缝集成到主流创作软件中,广泛应用于电影、游戏开发、虚拟现实等领域,显著提升内容创作效率。

PanoDreamer

PanoDreamer是一款基于单张图像生成连贯360° 3D场景的AI工具。其核心技术包括将全景图像生成与深度估计转化为优化任务,并引入交替最小化策略,确保场景的一致性和完整性。该工具支持全景图像及深度信息生成,可应用于虚拟现实、游戏开发、内容创作等多个领域,展现出卓越的性能表现。

GRUtopia 2.0

GRUtopia 2.0是上海人工智能实验室推出的通用具身智能仿真平台,提供模块化框架、场景自动生成与高效数据采集功能。用户可使用“三行代码”快速定义任务,平台内置百万级标准化物体资产,支持复杂场景的一键生成。同时具备大规模3D场景数据集、AI驱动的NPC系统及基准测试平台,适用于机器人训练、社交互动、导航与操作等任务,推动具身智能从仿真走向现实。

GEN3C

GEN3C是由NVIDIA、多伦多大学和向量研究所联合开发的生成式视频模型,基于点云构建3D缓存,结合精确的相机控制和时空一致性技术,实现高质量视频生成。支持从单视角到多视角的视频创作,具备3D编辑能力,适用于动态场景和长视频生成。在新型视图合成、驾驶模拟、影视制作等领域有广泛应用前景。

Vibe Draw

Vibe Draw是一款开源AI 3D建模工具,能将2D草图自动转换为高质量3D模型,并支持文本提示优化和模型编辑。用户可一键导出为glTF格式,适用于创意设计、教育、游戏开发等多个领域。工具基于Next.js、React、Three.js、FastAPI等技术,具备高效的实时交互与异步处理能力。

Scenethesis

Scenethesis是NVIDIA推出的AI框架,可通过文本生成高质量的3D场景。它结合LLM与视觉技术,经过布局规划、视觉细化、物理优化和场景验证四个阶段,确保生成结果具备物理合理性和空间连贯性。支持用户交互与多样化场景构建,广泛应用于VR/AR、游戏开发、具身智能及虚拟内容创作等领域。

3DTown

3DTown是由哥伦比亚大学联合Cybever AI等机构开发的AI工具,能够从单张俯视图生成高精度的3D城镇场景。它采用区域化生成和空间感知3D修复技术,将输入图像分解为重叠区域,分别生成3D内容并修复缺失结构,确保几何和纹理一致性。支持多种风格的场景生成,适用于虚拟世界构建、游戏开发、机器人模拟等领域,优于现有方法。

WonderPlay

WonderPlay 是斯坦福大学与犹他大学联合开发的新型框架,能够从单张图片和用户定义的动作生成动态3D场景。它结合物理模拟与视频生成技术,支持多种物理材质和动作类型,实现逼真的动态效果。用户可通过简单操作与场景互动,生成丰富的物理响应。该工具具备交互式查看器,适用于AR/VR、影视特效、教育、游戏开发等多个领域。