HMA

HMA（Heterogeneous Masked Autoregression）是由麻省理工学院、Meta和伊利诺伊大学香槟分校联合开发的一种开源方法，用于建模机器人动作视频的动态过程。HMA基于异构预训练，利用来自不同机器人实体、领域和任务的观测与动作序列数据，结合掩码自回归技术实现视频预测。该方法支持离散和连续两种变体，分别适用于快速生成和高保真度生成，能够有效处理动作空间中的异构性问题，包括不同的动作频率、维度和动作空间。通过模块化网络架构，HMA实现了高效的实时交互能力，在机器人学习中具有广泛的应用潜力，如视频模拟、策略评估、合成数据生成以及模仿策略应用。 - **视频模拟**：生成高质量的视频序列，用于模拟机器人在不同环境中的动作表现，支持虚拟测试与交互。 - **策略评估**：作为高保真模拟器，评估机器人策略在真实环境中的表现。 - **合成数据生成**：生成大量合成数据以增强训练集，提升策略的泛化能力。 - **模仿策略**：直接用于模仿学习，根据当前观测预测机器人动作。 - **异构预训练**： - 数据来源：使用多源、多领域的观测与动作序列进行预训练，覆盖多种动作空间。 - 动作异构性处理：通过特定的动作编码器与解码器，将不同动作空间映射到共享潜在空间。 - 模块化架构：包含输入模块、输出模块和共享的核心时空变换器，便于高效预训练与灵活扩展。 - **掩码自回归**： - 掩码目标：通过随机掩码部分标记并预测其内容，学习序列的联合分布。 - 自回归生成：逐步解码生成未来视频帧与动作序列，兼顾效率与质量。 - 两种变体：支持离散与连续生成方式，满足不同应用场景需求。 - 项目官网：https://liruiw.github.io/hma/ - GitHub仓库：https://github.com/liruiw/HMA - HuggingFace模型库：https://huggingface.co/liruiw/hma-base-disc - arXiv技术论文：https://arxiv.org/pdf/2502.04296 - 在线体验Demo：https://huggingface.co/spaces/liruiw/hma - 实时视频模拟：用于虚拟测试，验证策略效果，降低实际部署成本。 - 策略评估：辅助策略优化，预测真实环境中的性能表现。 - 合成数据生成：增强训练数据，提升策略泛化能力。 - 模仿学习：根据观测快速预测动作，提高任务执行效率。 - 长期规划与控制：支持长序列预测，助力复杂任务完成。