SepLLM SepLLM是由香港大学与华为诺亚方舟实验室等机构联合开发的高效大语言模型框架，通过压缩段落信息和优化注意力机制，显著提升推理速度与计算效率。其支持处理超长序列（达400万标记），具备低KV缓存占用、高推理速度及多节点分布式训练能力。适用于长文本处理、流式应用、资源受限环境及多语言研究等多个场景，具有良好的部署灵活性和扩展性。 AI项目与工具 2025年06月12日 37 点赞 0 评论 142 浏览
LayerSkip LayerSkip 是一种针对大型语言模型推理优化的技术，通过层 dropout 和早期退出损失机制，实现从早期层的精准退出，降低计算成本并提高解码效率。该方法结合自我推测解码技术，支持模型在早期层生成预测并通过后续层验证修正，广泛适用于文档摘要、编程任务、语义解析等自然语言处理任务，同时确保高精度与低延迟。 AI项目与工具 2025年06月12日 72 点赞 0 评论 209 浏览
MHA2MLA MHA2MLA是一种由多所高校与研究机构联合开发的数据高效微调方法，基于多头潜在注意力机制（MLA）优化Transformer模型的推理效率。通过Partial-RoPE和低秩近似技术，显著减少KV缓存内存占用，同时保持模型性能稳定。仅需少量数据即可完成微调，适用于边缘设备、长文本处理及模型迁移等场景，具备高兼容性和低资源消耗优势。 AI项目与工具 2025年06月12日 47 点赞 0 评论 406 浏览
