AgentPrune

AgentPrune 概述

AgentPrune 是由同济大学、香港中文大学等机构联合提出的一种面向大型语言模型（LLM）驱动的多智能体系统的通信优化框架。该方法通过“剪枝”技术，去除冗余或有害的通信内容，从而降低通信成本并提升系统性能。AgentPrune 将多智能体系统建模为时空图结构，利用低秩稀疏图掩码优化通信连接，并通过一次性剪枝生成高效的通信拓扑。实验表明，在多个基准测试中，AgentPrune 仅需传统方法 5.6% 的成本即可达到相近性能，且能够无缝集成至如 AutoGen 和 GPTSwarm 等现有多智能体框架中，实现 28.1% 到 72.8% 的 token 减少。

AgentPrune 的主要功能

• 通信冗余识别与剪枝：AgentPrune 首次定义了 LLM 多智能体系统中的通信冗余问题，通过一次性剪枝技术剔除冗余和有害的通信内容。
• 时空图建模与优化：将多智能体系统建模为包含空间边（同一轮对话中的通信）和时间边（跨轮对话中的通信）的时空图，并通过参数化图掩码进行优化。
• 低秩稀疏图掩码应用：基于低秩稀疏图掩码，减少通信结构中的冗余和噪声，增强对网络攻击的鲁棒性。
• 成本与性能优化：在多个基准测试中，AgentPrune 以更低的成本达到与现有最优方法相当的性能，支持集成到多种多智能体框架中，显著减少 token 使用。
• 对抗攻击防御：AgentPrune 能有效防御两种类型的智能体对抗攻击，带来 3.5% 至 10.8% 的性能提升。

AgentPrune 的技术原理

• 时空图建模：AgentPrune 将多智能体系统的通信结构建模为一个时空图，其中节点代表智能体，边表示通信连接，包括空间边和时间边。
• 参数化图掩码：通过参数化图掩码优化通信连接，结合分布近似和低秩稀疏性，最大化系统效用并最小化通信冗余。
• 一次性剪枝：在训练初期对图掩码进行有限优化后，通过一次性剪枝剔除不重要的通信连接，生成稀疏的通信图。
• 优化后的通信图：后续通信过程严格遵循优化后的通信图，降低通信成本并保持高效性能。

AgentPrune 的项目资源

• Github 仓库：https://github.com/yanweiyue/AgentPrune
• arXiv 技术论文：https://arxiv.org/pdf/2410.02506

AgentPrune 的应用场景

• 多智能体系统优化：AgentPrune 可集成至 AutoGen 和 GPTSwarm 等框架中，显著降低通信成本并提升性能。
• 经济高效的通信拓扑：通过一次性剪枝生成稀疏通信图，减少 Token 消耗。
• 复杂任务协作：适用于数学推理、代码生成等需要多智能体协作的任务，提高效率并降低成本。
• 工业和企业级应用：优化智能体间通信，提升系统整体效率。