BALROG

BALROG是一个用于评估大型语言模型（LLMs）和视觉语言模型（VLMs）在游戏环境中推理能力的框架，尤其关注模型在动态环境中的规划、空间推理及探索能力。它基于一系列具有挑战性的游戏环境，如程序化生成的NetHack等，揭示了现有模型在简单任务上的优势以及在复杂任务上的局限性，特别是在涉及视觉决策时的表现。BALROG提供了一个开放且详细的评估体系，旨在推动自主代理研究的进步。