APB

APB（Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs）是由清华大学等机构联合开发的分布式长上下文推理框架。该框架通过稀疏注意力机制与序列并行推理方式，有效提升大模型处理长文本时的效率。APB采用更小的Anchor Block和Passing Block，并结合查询感知的上下文压缩技术，在降低计算开销的同时确保关键信息的准确传递，从而实现对长距离语义依赖的高效处理。在128K长度的文本上，APB的推理速度比Flash Attention快约10倍，比Star Attention快1.6倍，且具备良好的兼容性，适用于多种分布式设置和模型规模。 APB的主要功能包括加速长上下文推理、支持高效的分布式计算、具备高度适应性以及保持任务性能。其技术原理涵盖稀疏注意力机制和序列并行推理，通过优化块分割、压缩与通信机制，提升整体推理效率。APB已在多个应用场景中展现优势，如长文本处理、多Agent协作、大规模模型服务及知识图谱构建等。 项目代码和相关论文已开源，用户可通过GitHub获取更多信息。