多模态
  1. 首页
  2. 多模态

列表

LongVILA

LongVILA

LongVILA是一款专为长视频理解设计的视觉语言AI模型，由多家知名研究机构共同开发。它具备强大的长上下文处理能力和多模态序列并行性，能在大量GPU上高效训练，无需梯度检查点。LongVILA通过五阶段训练流程，结合大规模数据集构建和高性能推理，显著提升了长视频字幕的准确性和处理效率。此外，它还支持多种应用场景，包括视频字幕生成、内容分析、视频问答系统等。
AI项目与工具 2025年06月12日
xGen

xGen

xGen-MM是一款由Salesforce开发的开源多模态AI模型，具备处理文本和图像等数据类型的能力。该模型通过学习大量图像和文字信息，在视觉语言任务中表现出色，并通过开源模型、数据集和微调代码库促进模型性能的提升。xGen-MM具有多模态理解、大规模数据学习、高性能生成、开源可访问和微调能力等特点。其应用场景广泛，包括图像描述生成、视觉问答、文档理解、内容创作和信息检索等。
AI项目与工具 2025年06月12日
Responses API

Responses API

Responses API 是 OpenAI 推出的 AI 代理开发核心接口，结合对话生成与工具调用能力，支持多轮交互与复杂任务处理。具备流式事件处理、统一 Item 结构设计、多态性简化等功能，内置网页搜索、文件搜索和计算机使用等工具。适用于智能客服、市场分析、内容创作等多个领域，提供灵活的定价模式，提升开发效率与用户体验。
AI项目与工具 2025年06月12日
Chinese

Chinese

Chinese-LiPS是由智源研究院与南开大学联合开发的高质量中文多模态语音识别数据集，包含100小时语音、视频及手动转录文本。其创新性融合唇读视频与幻灯片内容，显著提升语音识别性能，实验表明可降低字符错误率约35%。适用于教学、科普、虚拟讲解等复杂语境，为多模态语音识别研究提供丰富数据支持。
AI项目与工具 2025年06月11日
Character

Character

Character-3 是 Hedra Studio 推出的全模态 AI 视频生成工具，支持图像、文本和音频输入，生成高质量动态视频。具备全身动作捕捉、情感控制、精准对口型等功能，适用于创意视频、虚拟形象、教育、营销等多个场景。采用多模态融合与先进 AI 技术，提升视频自然度与连贯性，提高内容创作效率。
AI项目与工具 2025年06月12日

Bard PDF

Bard PDF
Bard PDF
一个用于汇总和分析 PDF 文档的终极 AI 驱动工具，AI Bard PDF允许用户通过自然对话上传PDF文档并与之交互。
AI写作对话 2025年06月05日
TEN Agent

TEN Agent

TEN Agent 是一款开源的实时多模态 AI 框架，集成了 OpenAI 实时 API 和 RTC 技术，支持语音、文本和图像的多模态交互。它具备天气查询、网络搜索、视觉识别及 RAG 等功能，支持高性能实时通信和模块化扩展，适用于智能客服、语音助手、教育辅助、智能家居控制和健康咨询等多个领域。
AI项目与工具 2025年06月12日
Mobvoi MCP Server

Mobvoi MCP Server

Mobvoi MCP Server是出门问问推出的一站式AI工具，集成语音生成、声音克隆、图片驱动数字人、视频配音等多模态能力。用户可通过简单输入文本调用功能，支持多客户端和多场景应用。基于标准化接口和开源生态，提供高效、灵活的数字生产力解决方案，适用于内容创作、虚拟主播、在线教育等多个领域。
AI项目与工具 2025年06月11日
BioMedGPT

BioMedGPT

BioMedGPT-R1是由清华大学AI产业研究院与北京水木分子生物科技联合开发的多模态生物医药开源大模型。基于DeepSeek R1技术，实现生物模态（如分子、蛋白质）与自然语言的统一融合，支持跨模态问答与深度推理。该模型在药物分子理解、靶点挖掘等领域表现优异，适用于药物设计、临床前研究及医学文本分析等多种场景，具备较高的文本推理能力和多模态处理能力。
AI项目与工具 2025年06月12日
VideoRAG

VideoRAG

VideoRAG是一种基于检索增强生成（RAG）技术的工具，旨在提升长视频的理解能力。它通过提取视频中的多模态信息（如OCR、ASR和对象检测），并将其与视频帧和用户查询结合，增强大型视频语言模型的处理效果。该技术轻量高效，易于集成，适用于视频问答、内容分析、教育、媒体创作及企业知识管理等多个领域。
AI项目与工具 2025年06月12日