多模态模型
  1. 首页
  2. 多模态模型

列表

Pixtral Large

Pixtral Large

Pixtral Large是一款由Mistral AI开源的超大规模多模态模型，具备1240亿参数，支持文本、图像和图表的理解与生成。它拥有128K的上下文窗口，能在多语言环境中处理复杂文档和多图像场景，广泛应用于教育、医疗、客服和内容审核等领域。
AI项目与工具 2025年06月12日
MagicQuill

MagicQuill

MagicQuill是一款基于AI的开源图像编辑工具，提供智能化的局部编辑功能。其核心功能包括AI驱动的智能建议、精确的像素级编辑（如添加、删除和颜色调整），以及多种定制化工具（如添加笔刷、减去笔刷和颜色笔刷）。此外，它还具备实时意图预测和参数调整能力，支持多模态大语言模型和扩散模型的协作，适用于个人娱乐、教育、专业设计及商业应用等多个领域。
AI项目与工具 2025年06月12日
OmniVision

OmniVision

OmniVision是一款面向边缘设备的紧凑型多模态AI模型，参数量为968M。它基于LLaVA架构优化，能够处理视觉与文本输入，显著降低计算延迟和成本。OmniVision支持视觉问答、图像描述等功能，广泛应用于内容审核、智能助手、视觉搜索等领域。
AI项目与工具 2025年06月12日
TableGPT2

TableGPT2

TableGPT2是一种由浙江大学开发的多模态人工智能模型，专注于结构化数据的处理与分析。它具备强大的表格数据理解能力，支持SQL查询执行、数据分析以及数据增删改查等功能。通过创新的表格编码器和双维注意力机制，TableGPT2在处理不规则表格和模糊查询方面表现优异。其应用场景广泛，涵盖商业智能、财务分析、市场研究及供应链管理等领域。
AI项目与工具 2025年06月12日
HourVideo

HourVideo

HourVideo是一项由斯坦福大学研发的长视频理解基准数据集，包含500个第一人称视角视频，涵盖77种日常活动，支持多模态模型的评估。数据集通过总结、感知、视觉推理和导航等任务，测试模型对长时间视频内容的信息识别与综合能力，推动长视频理解技术的发展。其高质量的问题生成流程和多阶段优化机制，使其成为学术研究的重要工具。
AI项目与工具 2025年06月12日
AndroidLab

AndroidLab

AndroidLab 是一款面向 Android 自主代理的训练与评估框架，集成了文本和图像模态操作环境，提供标准化的基准测试任务。它通过支持多种模型类型（LLMs 和 LMMs），覆盖九个应用场景的 138 项任务，有效提升了开源模型的性能。此外，AndroidLab 提供了丰富的评估指标和操作模式，助力研究者优化模型表现并推动开源解决方案的发展。
AI项目与工具 2025年06月12日
LOKI

LOKI

LOKI是一个由中山大学与上海AI实验室联合推出的合成数据检测基准，用于评估大型多模态模型在识别视频、图像、3D模型、文本及音频等多模态合成数据方面的性能。它包含超过18,000个问题，涵盖26个子类别，支持多层次标注和细粒度异常注释，并通过自然语言解释增强模型的可解释性。LOKI还通过对比多种开源和闭源模型的表现，揭示了这些模型在合成数据检测任务中的优势与不足。
AI项目与工具 2025年06月12日
Agent

Agent

Agent-S 是一款基于图形用户界面（GUI）的人机交互自动化框架，通过经验增强的分层规划和代理-计算机接口（ACI），实现了复杂任务的自动化分解与执行。它结合多模态大型语言模型（MLLMs）进行推理和控制，并具备持续学习和跨操作系统通用性的特点，适用于办公自动化、网页交互、个人助理、客户服务和教育等多个场景。
AI项目与工具 2025年06月12日
TinyVLA

TinyVLA

TinyVLA是一种轻量级的视觉-语言-动作（VLA）模型，专为机器人操控设计。它通过结合多模态模型和扩散策略解码器，实现了快速推理、数据高效和多任务学习的能力，并在泛化性能上表现优异。TinyVLA可应用于家庭、工业、服务等多个领域，具有广泛的实用价值。
AI项目与工具 2025年06月12日
MMSearch

MMSearch

MMSearch 是一款用于评估大型多模态模型（LMMs）搜索能力的基准测试工具，包含 MMSearch-Engine 框架和 MMSearch 测试集。其核心功能包括问题重构、网页排序和答案总结，通过多模态搜索能力评估提升 LMMs 的性能。实验结果显示 GPT-4o 在该测试中表现优异，且增加计算量比扩大模型规模更具优势。
AI项目与工具 2025年06月12日