模型优化
Verifier Engineering
Verifier Engineering是一种创新的后训练方法,通过搜索、验证和反馈三个阶段优化基础模型性能。它采用目标条件马尔可夫决策过程(GC-MDP),结合线性与树搜索算法,对模型输出进行动态调整。其验证器分类涵盖多种形式和粒度,并支持基于训练和推理的反馈方式。这项技术已在自然语言处理、代码生成、教育和内容安全等领域展现广泛潜力,成为提升模型鲁棒性和智能化水平的重要工具。
Open Code Reasoning
Open Code Reasoning(OCR)是英伟达推出的开源代码推理AI模型,基于Nemotron架构设计,支持多种编程语言。它具备代码生成、逻辑补全、多语言处理及高效推理能力,适用于代码优化、教育、测试等多个场景。OCR提供32B、14B和7B三种参数版本,满足不同计算需求,并与主流框架兼容,具有良好的扩展性。
PaperBench
PaperBench是OpenAI开发的AI智能体评测基准,用于评估其复现顶级机器学习论文的能力。它涵盖从理解论文、编写代码到执行实验的全流程,具备8316个评分节点和自动评分系统。支持多种智能体配置,提供标准化测试环境,适用于模型优化、学术验证及教育实践等领域,推动AI研究的标准化发展。
OlympicArena
OlympicArena是由多所高校与研究机构联合开发的多学科认知推理基准测试框架,包含11,163道国际奥赛双语题目,覆盖数学、物理、化学、生物、地理、天文学和计算机科学等7大领域。该平台通过答案级与过程级评估,全面衡量AI模型的逻辑与视觉推理能力,支持多模态输入并具备数据泄漏检测机制,适用于AI模型评估、训练优化、教育辅助及科研应用。
