多模态
  1. 首页
  2. 多模态

列表

Magma

Magma

Magma是微软研究院开发的多模态AI基础模型，具备理解与执行多模态任务的能力，覆盖数字与物理环境。它融合语言、空间与时间智能，支持从UI导航到机器人操作的复杂任务。基于大规模视觉-语言和动作数据预训练，Magma在零样本和微调设置下表现优异，适用于网页操作、机器人控制、视频理解及智能助手等多个领域。
AI项目与工具 2025年06月12日
Video

Video

Video-LLaVA2是一款由北京大学ChatLaw课题组开发的开源多模态智能理解系统。该系统通过时空卷积（STC）连接器和音频分支，显著提升了视频和音频的理解能力。其主要功能包括视频理解、音频理解、多模态交互、视频问答和视频字幕生成。时空建模和双分支框架是其核心技术原理。Video-LLaVA2广泛应用于视频内容分析、视频字幕生成、视频问答系统、视频搜索和检索、视频监控分析及自动驾驶等领域。
AI项目与工具 2025年06月12日
LlamaV

LlamaV

LlamaV-o1是由阿联酋穆罕默德·本·扎耶德人工智能大学等机构开发的多模态视觉推理模型，具备结构化推理和透明性，支持文本、图像和视频等多种模态的信息处理。该模型引入了VRC-Bench基准测试，涵盖4000多个推理步骤，用于全面评估推理能力。其性能优于多个开源模型，适用于医疗影像分析、金融数据解读、教育辅助和工业检测等场景，具有高准确性和可解释性。
AI项目与工具 2025年06月12日
Awesome Chinese LLM

Awesome Chinese LLM

整理了开源的中文大语言模型（LLM），主要关注规模较小、可私有化部署且训练成本较低的模型，目前已收录了100多个相关资源。
Ai学习资源 2025年06月05日
Multimodal Live API

Multimodal Live API

Multimodal Live API是谷歌推出的一种支持文本、音频和视频交互的AI接口，具备低延迟、实时双向通信和自然语言处理能力。它允许用户通过多种输入方式与AI互动，并支持会话记忆和外部功能调用，广泛应用于客户服务、在线教育、远程医疗、视频会议和娱乐等领域。
AI项目与工具 2025年06月12日
InternVL3

InternVL3

InternVL3是上海人工智能实验室推出的多模态大型语言模型，具备文本、图像、视频等多模态数据处理能力。采用原生多模态预训练方法，提升语言与视觉理解效率，并支持工具使用、3D视觉、工业图像分析等复杂任务。模型可通过API部署，适用于智能交互、图像识别、视频分析及客服系统等多种场景。
AI项目与工具 2025年06月11日
LMMs

LMMs

LMMs-Eval 是一个用于多模态AI模型的统一评估框架，提供标准化、广泛覆盖且成本效益高的性能评估解决方案。它支持超过50个任务和10多个模型，并通过透明和可复现的评估流程帮助研究者和开发者全面了解模型能力。LMMs-Eval 还引入了 LMMs-Eval Lite 和 LiveBench，分别通过精简数据集降低评估成本并动态更新评估数据集，以确保模型泛化能力的有效评估。
AI项目与工具 2025年06月12日
WorldSense

WorldSense

WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具，用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对，覆盖8大领域及26类认知任务，强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证，确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域，推动AI模型在多模态场景下的性能提升。
AI项目与工具 2025年06月12日
GPTBiz

GPTBiz

GPTBiz代表着在人工智能领域的一次重要创新，它不仅仅是一个产品，而是一个为中国市场量身定制的大语言模型应用平台。随着人工智能技术的迅猛发展，对于能够快速、
AI写作对话 2025年06月05日
ACE

ACE

ACE是一款基于扩散Transformer架构的多模态图像生成与编辑工具，通过长上下文条件单元（LCU）和统一条件格式实现自然语言指令的理解与执行。它支持图像生成、编辑、多轮交互等多种任务，适用于艺术创作、媒体制作、广告设计、教育培训等多个领域，提供高效且灵活的视觉内容解决方案。
AI项目与工具 2025年06月12日