模型优化

APB

APB是一种由清华大学等机构开发的分布式长上下文推理框架,通过稀疏注意力机制和序列并行推理提升大模型处理长文本的效率。采用更小的Anchor Block和Passing Block,结合查询感知的上下文压缩技术,减少计算开销并精准传递关键信息。在128K长度文本上,APB推理速度比Flash Attention快10倍,比Star Attention快1.6倍,适用于多种分布式环境和模型规模,广泛

赤兔Chitu

Chitu(赤兔)是清华大学与清程极智联合开发的高性能大模型推理引擎,支持多种GPU及国产芯片,打破对特定硬件的依赖。其具备全场景部署能力,支持低延迟、高吞吐、小显存优化,并在性能上优于部分国外框架。适用于金融风控、智能客服、医疗诊断、交通优化和科研等领域,提供高效、稳定的推理解决方案。

MetaStone

MetaStone-L1-7B 是一款轻量级推理模型,具备强大的数学和代码推理能力,性能达到行业领先水平。基于 DeepSeek-R1-Distill-Qwen-7B 架构,采用 GRPO 训练方式,支持多种计算架构并具备高效的云原生部署能力。适用于数学解题、编程辅助、智能客服、内容创作等多个场景,具有广泛的应用价值。

DistilQwen2.5

DistilQwen2.5-R1 是阿里巴巴推出的基于知识蒸馏技术的轻量级深度推理模型,包含多种参数量级,适用于资源受限环境。它具备高效计算、深度推理和高度适应性,支持文本生成、机器翻译、客户服务等多种任务。通过双阶段训练和认知轨迹适配框架,提升了小模型的推理能力,性能优于同类开源模型。

Math24o

Math24o 是 SuperCLUE 开源的高中奥林匹克数学竞赛级别数学推理测评基准,基于 2024 年全国高中数学竞赛预赛试题,包含 21 道高难度解答题。评测通过程序自动判断答案一致性,客观评估模型正确率。支持自动化评估流程,适用于教育、学术研究和模型优化等领域,为数学推理能力的提升提供重要工具。

AReaL

AReaL-boba 是由蚂蚁技术研究院与清华大学联合推出的开源强化学习训练框架,具备高效训练、推理能力提升、低资源训练等核心功能。其 7B 模型在数学推理任务中表现突出,且支持大规模模型的低成本复现。框架集成 SGLang 推理系统,采用数据蒸馏与工程优化技术,提升训练效率。适用于教育、自然语言处理、智能体开发等领域,具有高度可复现性和开源特性。

SWEET

SWEET-RL是Meta开发的多轮强化学习框架,专为提升大型语言模型在协作推理任务中的表现而设计。通过引入训练时的额外信息优化“批评者”模型,实现精准的信用分配与策略优化。在ColBench基准测试中,其在后端编程和前端设计任务中表现出色,成功率提升6%。适用于文本校对、社交媒体审核、广告合规等多种场景,具备高度的通用性和适应性。

PaperBench

PaperBench是OpenAI开发的AI智能体评测基准,用于评估其复现顶级机器学习论文的能力。它涵盖从理解论文、编写代码到执行实验的全流程,具备8316个评分节点和自动评分系统。支持多种智能体配置,提供标准化测试环境,适用于模型优化、学术验证及教育实践等领域,推动AI研究的标准化发展。

OlympicArena

OlympicArena是由多所高校与研究机构联合开发的多学科认知推理基准测试框架,包含11,163道国际奥赛双语题目,覆盖数学、物理、化学、生物、地理、天文学和计算机科学等7大领域。该平台通过答案级与过程级评估,全面衡量AI模型的逻辑与视觉推理能力,支持多模态输入并具备数据泄漏检测机制,适用于AI模型评估、训练优化、教育辅助及科研应用。

Gemini 2.5 Flash

Gemini 2.5 Flash 是 Google 推出的高性能 AI 模型,具备低延迟、高效率及推理能力,适用于代码生成、智能代理和复杂任务处理。其优化设计降低了计算成本,适合大规模部署。该模型基于 Transformer 架构,结合推理机制和模型压缩技术,提升了响应速度与准确性,广泛应用于智能开发、内容生成和实时交互等领域。