评估

CAR

CAR(Certainty-based Adaptive Reasoning)是字节跳动联合复旦大学推出的自适应推理框架,旨在提升大型语言模型(LLM)和多模态大型语言模型(MLLM)的推理效率与准确性。该框架通过动态切换短答案和长形式推理,根据模型对答案的置信度(PPL)决定是否进行详细推理,从而在保证准确性的同时节省计算资源。CAR适用于视觉问答(VQA)、关键信息提取(KIE)等任务,在数学

VE

VE-Bench是北京大学MMCAL团队研发的一款视频编辑质量评估工具,包含数据库(VE-Bench DB)和量化评估模块(VE-Bench QA)。它综合考虑了视觉质量、文本-视频一致性及源视频与编辑后视频的动态关联性,旨在实现与人类感知一致的精准评估。适用于电影制作、短视频优化、广告行业等多个领域。

FullStack Bench

FullStack Bench是一款由字节跳动与M-A-P社区联合推出的专业代码评估工具,主要针对全栈编程和多语言编程能力进行评估。它包含11种真实编程场景、3374个问题以及16种编程语言,具备全面评估、多语言支持、实际场景模拟、代码质量控制等特点,适用于代码智能评估、教育与培训、研究开发、软件测试及多语言编程能力评估等多个场景。

Agentar

Agentar是蚂蚁数科推出的智能体开发平台,面向金融机构提供一站式AI开发工具。平台基于大量金融数据与AI技术,支持零代码、低代码开发,具备高安全性与合规性。其核心功能涵盖可信智能体技术、高质量知识库、可视化编排及丰富服务组件,适用于智能投研、客服、风控、营销与合规管理等场景,助力金融机构提升决策效率与智能化水平。

Collaborative Gym

Collaborative Gym(Co-Gym)是一款支持人机协作的开发框架,具备异步交互、任务环境设计和多维评估功能。它通过模拟与真实环境支持开发者进行高效迭代与实际部署,适用于旅行规划、表格分析和文献综述等多种协作任务,提升人机协作效率与质量。

LongReward

LongReward是一种由清华大学、中国科学院及智谱AI联合开发的AI工具,专注于通过多维度评估(有用性、逻辑性、忠实性和完整性)来优化长文本大型语言模型的表现。它利用现成的语言模型提供奖励信号,并结合强化学习算法改善模型性能,特别擅长处理复杂长文本任务,如文档理解、摘要生成及特定领域的数据分析,如法律、金融和医疗。

North

North 是 Cohere 推出的企业级 AI 工作平台,提供安全、高效的 AI 解决方案,支持私有云或本地部署。内置 Compass 搜索系统,可处理多种数据类型并支持多语言,提升任务效率。平台集成了高性能语言模型和自动化工具,适用于金融、医疗等行业,可用于风险评估、客户支持、疾病诊断、药物研发等多个场景,增强企业智能化水平。

potis.ai

Potis.ai 是一款基于 AI 技术的招聘平台,通过自动化行为面试、智能面试协助和人才评分系统,帮助企业提升招聘效率,降低时间和成本支出。平台支持无缝集成至现有流程,提供详尽的候选人反馈和团队协作优化功能,适用于远程招聘、大规模招聘及技术岗位评估等多种场景。

SmartPrep.AI

SmartPrep.AI是一款基于AI的大模型教学辅助平台,专为教师和学生提供智能化解决方案。其核心功能涵盖智能课程计划生成、多源教学资源整合、可定制化评估工具等,支持多种教学方法并实现个性化定制。此外,它还适用于日常备课、跨学科项目设计、新教师培训以及远程教学等多种场景,显著提升教育工作的效率与效果。

AndroidLab

AndroidLab 是一款面向 Android 自主代理的训练与评估框架,集成了文本和图像模态操作环境,提供标准化的基准测试任务。它通过支持多种模型类型(LLMs 和 LMMs),覆盖九个应用场景的 138 项任务,有效提升了开源模型的性能。此外,AndroidLab 提供了丰富的评估指标和操作模式,助力研究者优化模型表现并推动开源解决方案的发展。