空间推理

Aether

Aether是由上海AI Lab开发的生成式世界模型,基于合成数据训练,具备4D动态重建、动作条件视频预测和目标导向视觉规划等核心功能。它通过三维时空建模和多任务协同优化,实现对环境的精准感知与智能决策,具有出色的零样本泛化能力,适用于机器人导航、自动驾驶、虚拟现实等多个领域。

Spatial

Spatial-RAG是一种用于增强大型语言模型空间推理能力的框架,融合了稀疏空间检索与密集语义检索技术。它通过多目标优化策略平衡空间约束与语义相关性,生成准确、连贯的自然语言回答。该工具可应用于旅游推荐、智能导航、城市规划、地理问答和物流配送等多个领域,提升了空间数据处理的智能化水平。

MVoT

MVoT是一种多模态推理框架,通过生成图像形式的推理痕迹,增强多模态大语言模型在复杂空间推理任务中的表现。其核心技术包括多模态推理范式、token discrepancy loss以及递归生成机制,有效提升推理准确性和可解释性。该工具适用于机器人导航、自动驾驶、智能教育、医疗影像分析及VR/AR交互等多个领域,具有广泛的应用潜力。

Pixel Reasoner

Pixel Reasoner是由多所高校联合开发的视觉语言模型,通过像素空间推理增强对视觉信息的理解和分析能力。它支持直接对图像和视频进行操作,如放大区域或选择帧,以捕捉细节。采用两阶段训练方法,结合指令调优和好奇心驱动的强化学习,提升视觉推理性能。在多个基准测试中表现优异,适用于视觉问答、视频理解等任务,广泛应用于科研、教育、工业质检和内容创作等领域。

BALROG

BALROG是一款用于评估大型语言模型(LLMs)和视觉语言模型(VLMs)在游戏环境中推理能力的框架。它通过程序化生成的游戏环境,测试模型的规划、空间推理及探索能力,并提供细粒度的性能指标和公开排行榜,以促进AI技术的发展,适用于游戏AI开发、机器人技术、虚拟现实等多个领域。