Absolute Zero

Absolute Zero是什么

Absolute Zero是由清华大学LeapLab团队联合北京通用人工智能研究院NLCo实验室以及宾夕法尼亚州立大学共同研发的一种新型语言模型推理训练方法。该方法基于模型自我提出任务并自主解决的机制，实现自我进化式学习，无需依赖人工标注数据或预定义任务。在任务生成阶段，模型会获得可学习性奖励；在解决问题时，则根据解答的正确性获得反馈。通过与环境的持续交互，模型不断优化其推理能力，推动推理系统从依赖人类监督向依赖环境反馈转变。

Absolute Zero的主要功能

• 任务自主生成：模型能够自主生成具有学习价值的任务，既不过于简单也不过于复杂，以提供有效的学习信号。
• 任务自主解决：模型作为求解者，尝试解决自身生成的任务，并根据环境反馈验证答案的正确性。
• 推理能力提升：通过不断提出和解决任务，模型的归纳、演绎、溯因等推理能力得到持续增强。
• 跨领域泛化：模型借助自我学习获得的通用推理能力，可以迁移到新的任务和领域中。
• 零数据训练：完全不依赖人工标注数据或人为设计的任务，仅通过与环境的互动进行学习。

Absolute Zero的技术原理

• 双重角色模型：模型同时扮演任务提出者（Proposer）和任务求解者（Solver）的角色，两者共享参数并同步优化。
• 环境反馈机制：模型与环境（如代码执行器）交互，环境对任务的可解性进行验证并提供反馈。任务生成过程获得可学习性奖励，任务解决过程获得解答奖励。
• 强化学习优化：采用TRR++等强化学习算法，结合两种奖励机制，实现多任务下的自我进化学习。
• 推理模式支持：支持演绎、溯因和归纳三种基本推理模式，每种模式对应不同任务类型，有助于提升特定推理能力。
• 自博弈闭环：模型通过不断提出新任务、求解任务并根据反馈更新策略，形成一个闭环的学习过程，确保持续优化。

Absolute Zero的应用场景

• 通用人工智能（AGI）：助力模型实现自主学习与进化，逐步接近人类智能水平。
• 代码生成：能够自动生成高效代码，解决复杂编程问题，提升开发效率。
• 数学推理：增强模型在数学问题上的泛化能力，支持教育与研究应用。
• 自然语言处理（NLP）：提升语言理解和生成能力，优化文本生成与问答系统。
• 安全与伦理：研究AI自主演化中的行为模式，保障系统的安全性与伦理性。