SuperGPQA

SuperGPQA简介

SuperGPQA是由字节跳动豆包大模型团队与M-A-P合作开发的一个知识推理基准测试集，覆盖285个研究生级学科，包含26529道专业题目。该测试集旨在解决传统评测在学科覆盖范围、题目质量及评估维度上的不足，通过专家与大语言模型的协同构建，确保题目的高质量和高难度。其中42.33%的题目涉及数学计算或严谨推理，能够有效评估大语言模型的泛化能力和真实推理水平。

SuperGPQA的主要功能

• 全面评估大语言模型（LLM）的泛化能力：涵盖285个研究生级学科，包括长尾学科，全面衡量LLM在不同领域的知识储备和推理能力。
• 评估模型的真实推理能力：42.33%的题目需要数学计算或形式推理，确保测试集能有效评估模型在复杂任务中的表现。
• 提供跨学科分析框架：覆盖STEM和非STEM领域，为研究模型在不同学科的表现提供统一的评估工具。
• 填补长尾学科评估空白：针对传统评测集对长尾学科覆盖不足的问题，提供更全面的评估支持。
• 指导模型优化：基于评测结果发现模型短板，辅助优化模型架构和训练方法。

SuperGPQA的技术原理

• 专家-LLM协同构建：
  • 来源筛选：专家从权威来源筛选原始问题，避免众包标注的低质量风险。
  • 转录与规范化：对原始问题进行语言规范和格式转换，确保题目统一。
  • 质量检验：结合规则过滤、LLM检测和专家复审，保障题目的高质量。
• 多模型协作验证：利用多个先进LLM进行多维度检测，提升题目可靠性。
• 跨学科语义结构设计：使用t-SNE等技术分析语义结构，保留各学科的语言特色。
• 高难度任务设计：42.33%的题目涉及数学计算或严谨推理，确保测试深度。

SuperGPQA的项目信息

• 项目官网：https://supergpqa.github.io/
• GitHub仓库：https://github.com/SuperGPQA/SuperGPQA
• HuggingFace模型库：https://huggingface.co/datasets/m-a-p/SuperGPQA
• arXiv技术论文：https://arxiv.org/pdf/2502.14739

SuperGPQA的应用场景

• 模型性能评估：用于全面衡量大语言模型在多学科领域的知识和推理能力。
• 模型优化指导：帮助研究人员识别模型弱点，优化训练策略。
• 跨学科分析：支持不同学科对模型能力的对比研究。
• 教育研究：可用于智能教育工具开发和AI在教育中的应用研究。
• 行业应用测试：适用于智能客服、医疗辅助等实际场景的模型测试。