Agent

Agent-S 是一款创新的代理框架，专注于通过图形用户界面（GUI）实现人机交互的自动化。该框架模仿人类操作模式，利用鼠标和键盘与计算机交互，有效处理复杂的多步骤任务。Agent-S 引入了经验增强的分层规划方法，结合在线网络知识与内部记忆，将复杂任务拆解为易于管理的子任务。此外，Agent-S 基于代理-计算机接口（ACI），提升了基于多模态大型语言模型（MLLMs）的GUI代理的推理与控制能力。在OSWorld基准测试中，Agent-S 表现优异，成功率显著优于基线水平，验证了其在自动化任务处理中的高效性。同时，该框架通过自动化交互增强了技术的可访问性，为残障人士提供了更便捷的技术使用途径。