PaperBench
PaperBench是OpenAI开发的AI智能体评测基准，用于评估其复现顶级机器学习论文的能力。它涵盖从理解论文、编写代码到执行实验的全流程，具备8316个评分节点和自动评分系统。支持多种智能体配置，提供标准化测试环境，适用于模型优化、学术验证及教育实践等领域，推动AI研究的标准化发展。
评测
FlagevalMM
FlagEvalMM是一个由北京智源人工智能研究院开发的开源多模态模型评测框架，专注于评估处理文本、图像、视频等多模态任务的模型性能。它支持多种任务和指标，采用解耦评测与推理的设计，提供统一的评测流程，集成丰富模型库并兼容多种后端引擎。该工具适用于学术研究、工业应用、模型开发、教育领域及内容创作等多个场景。
书生·筑梦2.0（Vchitect 2.0）
书生·筑梦2.0是一款由上海人工智能实验室开发的开源视频生成大模型，支持文本到视频和图像到视频的转换，生成高质量的2K分辨率视频内容。它具备灵活的宽高比选择、强大的超分辨率处理能力以及创新的视频评测框架，适用于广告、教育、影视等多个领域。
