评估

智能文档处理“百宝箱”

智能文档处理“百宝箱”是一款专注于文档解析的专业化工具,能够支持批量处理、多版式兼容,并具备高精度解析能力。其核心功能包括文档解析可视化、关键信息提取、解析效果评估等,广泛应用于企业文档管理、法律事务、金融数据分析、医疗记录处理及教育资源整合等领域,旨在优化各行业的文档处理流程,提升工作效率与准确性。

PromptBench

一个基于 Pytorch 的 Python 包,用于评估和理解大型语言模型的统一库。它为研究人员提供了用户友好的 API,以便对 LLM 进行评估。

MagicSchool AI

MagicSchool AI 是一款利用生成式AI的工具,旨在帮助教师在课堂中应用生成式AI。

MMRole

MMRole是一个由中国人民大学高瓴人工智能学院研究团队开发的多模态角色扮演智能体(MRPA)框架。该框架通过整合图像和文本,使智能体能够以特定角色进行更为自然和沉浸式的对话。MMRole框架包括一个大规模、高质量的多模态数据集和一个全面的评估方法,用于开发和评估MRPAs的性能。该框架为创建能够理解和生成与图像相关对话内容的智能体提供了新的可能,并扩展了其在教育、娱乐、客户服务、社交模拟和内容创

MMBench

MMBench-Video是一个由多家高校和机构联合开发的长视频多题问答基准测试平台,旨在全面评估大型视觉语言模型(LVLMs)在视频理解方面的能力。平台包含约600个YouTube视频片段,覆盖16个类别,并配备高质量的人工标注问答对。通过自动化评估机制,MMBench-Video能够有效提升评估的精度和效率,为模型优化和学术研究提供重要支持。

ARCHITEChTURES

ARCHITEChTURES是一个基于AI的建筑设计平台,专注于自动化处理建筑设计中的重复性任务,如建模、测量和计算,以提高设计效率和质量。它支持多户型住宅建筑设计,提供CAD和BIM绘图功能,并具备测量、预算以及快速设计与共享能力。此外,平台还支持多种应用场景,包括可行性研究、场地规划、商业评估和概念迭代等。

LongCite

LongCite是清华大学研发的一项旨在提升大型语言模型在长文本问答中可信度和可验证性的项目。它通过生成细粒度的句子级引用,帮助用户验证模型回答的准确性。LongCite包含LongBench-Cite评估基准、CoF自动化数据构建流程、LongCite-45k数据集,以及基于该数据集训练的模型。这些模型能够处理长文本内容,提供准确的问答服务,并附带可追溯的引用,增强信息的透明度和可靠性。

WiS

WiS是一个基于“谁是卧底”游戏规则的在线AI竞赛平台,专为评估和分析大型语言模型(LLMs)在多智能体系统中的行为而设计。平台提供统一的模型评估接口、实时排行榜、全面的行为评估功能以及详尽的数据可视化支持,旨在为研究人员和开发者提供一个直观且高效的工具,用于测试和优化智能体在复杂交互环境中的表现。

OlympicArena

OlympicArena是由多所高校与研究机构联合开发的多学科认知推理基准测试框架,包含11,163道国际奥赛双语题目,覆盖数学、物理、化学、生物、地理、天文学和计算机科学等7大领域。该平台通过答案级与过程级评估,全面衡量AI模型的逻辑与视觉推理能力,支持多模态输入并具备数据泄漏检测机制,适用于AI模型评估、训练优化、教育辅助及科研应用。

VideoPhy

VideoPhy是一款由UCLA和谷歌研究院联合开发的基准测试工具,旨在评估视频生成模型的物理常识能力。它包含688条描述性字幕,通过人类和自动评估方式,衡量生成视频是否符合物理规则。VideoPhy不仅揭示了现有模型的不足,还推出了自动评估工具VideoCon-Physics,以推动模型性能的提升。其应用场景广泛,包括视频生成模型开发、计算机视觉研究、教育与培训以及娱乐产业等。