稀疏注意力
  1. 首页
  2. 稀疏注意力

列表

SepLLM

SepLLM

SepLLM是由香港大学与华为诺亚方舟实验室等机构联合开发的高效大语言模型框架，通过压缩段落信息和优化注意力机制，显著提升推理速度与计算效率。其支持处理超长序列（达400万标记），具备低KV缓存占用、高推理速度及多节点分布式训练能力。适用于长文本处理、流式应用、资源受限环境及多语言研究等多个场景，具有良好的部署灵活性和扩展性。
AI项目与工具 2025年06月12日
APB

APB

APB是一种由清华大学等机构开发的分布式长上下文推理框架，通过稀疏注意力机制和序列并行推理提升大模型处理长文本的效率。采用更小的Anchor Block和Passing Block，结合查询感知的上下文压缩技术，减少计算开销并精准传递关键信息。在128K长度文本上，APB推理速度比Flash Attention快10倍，比Star Attention快1.6倍，适用于多种分布式环境和模型规模，广泛
AI项目与工具 2025年06月12日
Direct3D

Direct3D

Direct3D-S2是由南京大学、DreamTech、复旦大学和牛津大学联合开发的高分辨率3D生成框架，基于稀疏体积表示和空间稀疏注意力（SSA）机制，提升扩散变换器（DiT）的计算效率并降低训练成本。该框架包含全端到端的稀疏SDF变分自编码器（SS-VAE），支持多分辨率训练，在1024³分辨率下仅需8个GPU即可训练。Direct3D-S2能够从图像生成高分辨率3D形状，具有精细几何细节和高
AI项目与工具 2025年06月11日
MiniCPM 4.0

MiniCPM 4.0

MiniCPM 4.0是面壁智能推出的高效端侧大模型，包含8B和0.5B两种参数规模。其采用创新稀疏架构和三值量化技术，实现模型体积缩小90%并保持高性能。自研CPM.cu推理框架在极限场景下可提升220倍速度，支持多种开源框架部署，并适配主流芯片。具备高效双频换挡机制、多平台适配和多种版本选择，适用于智能辅导、医疗辅助、客服、游戏剧情生成等场景。
AI项目与工具 2025年06月11日