语言模型

Tarsier2

Tarsier2是字节跳动研发的大规模视觉语言模型,擅长生成高精度视频描述并在多项视频理解任务中表现优异。其核心技术包括大规模数据预训练、细粒度时间对齐微调以及直接偏好优化(DPO)。该模型在视频问答、定位、幻觉检测及具身问答等任务中均取得领先成绩,支持多语言处理,具有广泛的应用潜力。

WhisperKeyboard

WhisperKeyboard 是一款基于 OpenAI Whisper 技术的 AI 语音输入工具,支持多语言实时语音转文字,适用于写作、编程、会议记录等场景。具备离线识别、文本润色、多语言翻译和隐私保护等功能,兼容多平台,提升输入效率与文本质量。

WebWalker

WebWalker是阿里巴巴研发的AI工具,用于评估和优化大型语言模型在网页浏览任务中的表现。它通过多智能体框架、垂直探索策略及WebWalkerQA数据集,提升模型处理长上下文和多源信息的能力。支持多语言、多领域和多难度任务,适用于信息检索、数据分析和内容监控等场景,具备良好的适应性和可扩展性。

OmniManip

OmniManip是由北京大学与智元机器人联合实验室开发的通用机器人操作框架,结合视觉语言模型与三维操作技术,实现机器人在非结构化环境中的任务执行。其核心为以对象为中心的交互基元表示法,支持零样本泛化、跨平台部署及大规模仿真数据生成。通过双闭环系统设计与任务分解机制,提升操作精度与适应性,适用于日常操作、工业自动化及服务机器人等场景。

百聆

百聆是一款开源语音对话系统,融合语音识别、语音活动检测、大语言模型和语音合成技术,实现自然流畅的语音交互。支持低延迟运行,无需GPU,适用于边缘设备。具备记忆、工具调用和任务管理等功能,适用于智能家居、个人助理、车载系统等多种场景,提供高效的语音交互解决方案。

ParGo

ParGo是一种由字节与中山大学联合开发的多模态大语言模型连接器,通过结合局部与全局token,提升视觉与语言模态的对齐效果。其核心模块PGP和CPP分别提取图像的局部和全局信息,增强细节感知能力。在多个基准测试中表现优异,尤其在文字识别和图像描述任务中优势明显。采用自监督学习策略,提高模型泛化能力,适用于视觉问答、图像字幕生成、跨模态检索等多种场景。

MiniRAG

MiniRAG是由香港大学开发的检索增强生成(RAG)系统,专为资源受限环境下的小型语言模型(SLMs)优化。其核心在于语义感知的异构图索引和轻量级拓扑增强检索方法,能够在降低存储需求的同时实现高性能知识检索与推理。该工具适用于即时通讯、个人内容管理、本地文档检索及隐私敏感场景,具备良好的适应性和实用性,为边缘计算和低功耗设备提供高效解决方案。

Agent Laboratory

Agent Laboratory是由AMD与约翰·霍普金斯大学合作开发的基于大型语言模型的研究辅助工具,支持从文献综述到报告撰写的全流程科研任务。它具备实验设计、代码生成、结果分析等功能,并通过多代理协作和用户反馈机制提升研究质量。实验表明其可显著降低研究成本,适用于机器学习、生物医学等多个领域。

North

North 是 Cohere 推出的企业级 AI 工作平台,提供安全、高效的 AI 解决方案,支持私有云或本地部署。内置 Compass 搜索系统,可处理多种数据类型并支持多语言,提升任务效率。平台集成了高性能语言模型和自动化工具,适用于金融、医疗等行业,可用于风险评估、客户支持、疾病诊断、药物研发等多个场景,增强企业智能化水平。

rStar

rStar-Math是由微软亚洲研究院研发的数学推理工具,采用蒙特卡洛树搜索(MCTS)驱动的深度思考机制,使小型语言模型在数学推理方面达到或超越大型模型水平。通过代码增强的推理轨迹生成、过程偏好模型(PPM)训练和四轮自我进化策略,显著提升了模型的准确率与自我反思能力。该工具已在多个数学基准测试中取得优异成绩,适用于教育、科研、金融、工程和数据分析等多个领域。