评估

MMSearch

MMSearch 是一款用于评估大型多模态模型(LMMs)搜索能力的基准测试工具,包含 MMSearch-Engine 框架和 MMSearch 测试集。其核心功能包括问题重构、网页排序和答案总结,通过多模态搜索能力评估提升 LMMs 的性能。实验结果显示 GPT-4o 在该测试中表现优异,且增加计算量比扩大模型规模更具优势。

xbench

xbench是红杉中国推出的AI基准测试工具,采用双轨评估体系,追踪模型的理论能力上限与实际落地价值。其长青评估机制动态更新测试内容,确保时效性。xbench包含科学问题解答和中文互联网深度搜索两个核心评估集,按季度或每月更新题目。工具还提供垂直领域智能体评测、实时更新与LeaderBoard功能,适用于模型能力评估、真实效用量化、产品迭代指导等场景,推动AI系统在真实场景中的效用提升。

URO

URO-Bench 是一个面向端到端语音对话模型的综合评估工具,支持多语言、多轮对话及副语言信息处理。它包含基础和高级两个赛道,分别涵盖16个和20个数据集,覆盖开放性问答、情感生成、多语言任务等。支持多种评估指标,提供简单易用的评估流程,并兼容多种语音对话模型。适用于智能家居、个人助理、语言学习等多个实际应用场景。

Math24o

Math24o 是 SuperCLUE 开源的高中奥林匹克数学竞赛级别数学推理测评基准,基于 2024 年全国高中数学竞赛预赛试题,包含 21 道高难度解答题。评测通过程序自动判断答案一致性,客观评估模型正确率。支持自动化评估流程,适用于教育、学术研究和模型优化等领域,为数学推理能力的提升提供重要工具。

妙构

妙构是一款基于AI技术的视频内容分析工具,能够从视觉、音频和创意结构等多个维度对视频进行深度解析,提供专业的优化建议。其功能包括趋势分析、案例学习、智能反馈等,适用于视频创作者、内容策划及营销人员,帮助提升视频质量与传播效果。

SocraticLM

SocraticLM 是一款基于苏格拉底教学法的人工智能模型,由中科大与科大讯飞联合开发。它通过提问引导学生主动思考,具备多轮对话能力和个性化教学功能。模型在 SocraTeach 数据集上训练,教学性能优于 GPT-4,整体质量提升 12%。其综合评估系统涵盖五项教学维度,适用于数学教学、个性化辅导及在线教育平台,为教育技术发展提供了新思路。

LMMs

LMMs-Eval 是一个用于多模态AI模型的统一评估框架,提供标准化、广泛覆盖且成本效益高的性能评估解决方案。它支持超过50个任务和10多个模型,并通过透明和可复现的评估流程帮助研究者和开发者全面了解模型能力。LMMs-Eval 还引入了 LMMs-Eval Lite 和 LiveBench,分别通过精简数据集降低评估成本并动态更新评估数据集,以确保模型泛化能力的有效评估。

谷歌DeepMind推出V2A技术,可为无声视频添加逼真音效

DeepMind推出的V2A(Video-to-Audio)模型能够将视频内容与文本提示相结合,生成包含对话、音效和音乐的详细音频轨道。它不仅能够与DeepMind自身的视频生成模型Veo协同工作,还能与其他视频生成模型,如Sora、可灵或Gen 3等,进行集成,从而为视频添加戏剧性的音乐、逼真的音效或与视频中角色和情绪相匹配的对话。V2A的强大之处在于其能够为每个视频输入生成无限数量的音轨。该模

ImBD

ImBD是一种用于检测机器修订文本的AI工具,采用风格偏好优化(SPO)和风格条件概率曲率(Style-CPC)技术,能有效区分人类写作与机器修订内容。该工具具备多场景适应能力,支持多种文本类型和领域,训练效率高、数据需求低,适用于学术、新闻、出版、教育等多个应用场景,提升文本检测的准确性与可靠性。

TIP

TIP-I2V是一个包含大量真实文本和图像提示的数据集,专为图像到视频生成领域设计。它涵盖了超过170万个独特的提示,并结合多种顶级图像到视频生成模型生成的视频内容。该数据集支持用户偏好分析、模型性能评估以及解决错误信息传播等问题,有助于推动图像到视频生成技术的安全发展。