多模态

LMArena AI

前身为lmsys.org,是一个专注于众包AI基准测试的开放平台,用户可以在此平台上免费与AI聊天并进行投票,比较和测试不同的AI聊天机器人。

StarVector

StarVector 是一个开源多模态视觉语言模型,支持图像和文本到可编辑 SVG 文件的转换。采用多模态架构,结合图像编码与语言模型,生成结构紧凑、语义丰富的 SVG 内容。基于 SVG-Stack 数据集训练,适用于图标设计、艺术创作、数据可视化等多种场景,具备良好的性能和扩展性。

LongVU

LongVU是一款由Meta AI团队研发的长视频理解工具,其核心在于时空自适应压缩机制,可有效减少视频标记数量并保留关键视觉细节。该工具通过跨模态查询与帧间依赖性分析,实现了对冗余帧的剔除及帧特征的选择性降低,并基于时间依赖性进一步压缩空间标记。LongVU支持高效处理长视频,适用于视频内容分析、搜索索引、生成描述等多种应用场景。

Insight

Insight-V是一款由南洋理工大学、腾讯和清华大学联合研发的多模态大型语言模型,专为提升长链视觉推理能力而设计。该模型通过多智能体系统将任务分解为推理与总结两步,并采用两阶段训练流程优化性能。其渐进式数据生成和多粒度评估方法进一步提升了模型的推理精度,在多个视觉推理基准测试中表现出色。

A2A

A2A是谷歌推出的首个智能体交互协议,旨在实现不同框架和供应商构建的AI智能体之间的高效协作。它支持多模态交互、长期任务管理和实时反馈,基于HTTP、JSON-RPC等标准设计,便于与现有系统集成。A2A具备安全性、可扩展性和用户体验协商能力,适用于企业流程自动化、跨平台客服、招聘优化、供应链协同和智能办公等多个场景。

Awesome Chinese LLM

整理了开源的中文大语言模型(LLM),主要关注规模较小、可私有化部署且训练成本较低的模型,目前已收录了100多个相关资源。

cpmGO

cpmGO是面壁智能推出的端侧智能助手,专为汽车座舱设计,支持多模态交互与本地化处理,保障隐私并适应弱网环境。其基于MiniCPM模型优化,具备智能任务处理、快速响应及灵活定制能力,适用于多种智能汽车场景,提升人车交互的便捷性与安全性。

文心大模型X1 Turbo

文心大模型X1 Turbo是百度推出的深度思考型AI模型,具备强大的逻辑推理和多模态处理能力,适用于内容创作、智能问答、任务规划等多个领域。相比前代产品,性能提升显著,价格更具竞争力,支持复杂场景下的高效应用。

MILS

MILS是由Meta AI开发的一种无需额外训练即可为大型语言模型(LLM)提供多模态能力的框架。它通过多步推理、评分反馈和迭代优化,实现图像、视频、音频等多模态内容的生成与理解。MILS支持零样本描述生成、风格迁移、跨模态推理等任务,适用于内容生成、多模态检索、视觉问答等多个场景,具备高效、灵活和无需训练的优势。

Neo

Neo-1 是 VantAI 开发的全球首个整合从头分子生成与原子级结构预测的 AI 模型,支持多模态输入,提升药物设计效率与准确性。该模型基于大规模训练和定制数据集,具备精准生成分子和预测结构的能力,适用于分子胶设计、蛋白质复合物预测及抗体发现等多个领域,推动结构生物学发展。