Aether

Aether简介

Aether是由上海AI Lab开发的生成式世界模型，其训练数据完全来源于合成数据。该模型首次将三维时空建模与生成式建模相结合，具备4D动态重建、动作条件视频预测和目标导向视觉规划三大核心功能。Aether能够感知环境、理解物体的位置和运动关系，并做出智能决策。在真实环境中展现出卓越的零样本泛化能力，通过虚拟数据训练即可高效完成复杂任务，为具身智能系统提供强有力的空间推理与决策支持。

Aether的核心功能

• 4D动态重建：从视频中构建包含时间与空间信息的三维场景模型，捕捉动态变化。
• 动作条件视频预测：根据初始观察和动作轨迹预测未来场景的变化。
• 目标导向视觉规划：基于起始和目标场景生成合理路径，辅助智能系统进行行动规划。

Aether的技术特点

• 统一多任务框架：将动态重建、视频预测和动作规划整合至一个统一框架中，实现任务间的协同优化，提升模型稳定性。
• 几何感知建模：引入三维时空建模技术，增强空间推理能力。利用大量仿真RGBD数据，构建完整的数据清洗与动态重建流程。
• 相机轨迹作为动作表征：使用相机轨迹表示全局动作，在导航或机器人操作中反映实际运动状态。
• 扩散模型与多模态融合：基于预训练视频扩散模型，结合合成4D数据进行微调。通过归一化视差表示和射线图序列表示，实现多模态信息的融合与优化。
• 零样本泛化能力：完全依赖虚拟数据训练，可迁移至真实场景并表现出色，无需真实世界数据。

Aether的项目资源

• 项目官网：https://aether-world.github.io/
• GitHub仓库：https://github.com/OpenRobotLab/Aether
• HuggingFace模型库：https://huggingface.co/AetherWorldModel/AetherV1
• arXiv技术论文：https://arxiv.org/pdf/2503.18945
• 在线体验Demo：https://huggingface.co/spaces/AmberHeart/AetherV1

Aether的应用领域

• 机器人导航：用于路径规划与动态障碍规避。
• 自动驾驶：实现道路场景实时重建与交通动态预测。
• 虚拟现实：生成沉浸式虚拟环境以提升用户体验。
• 工业机器人：优化操作路径，提高生产效率。
• 智能监控：分析视频内容，预测潜在异常行为。