多模态
  1. 首页
  2. 多模态

列表

TEN Agent

TEN Agent

TEN Agent 是一款开源的实时多模态 AI 框架，集成了 OpenAI 实时 API 和 RTC 技术，支持语音、文本和图像的多模态交互。它具备天气查询、网络搜索、视觉识别及 RAG 等功能，支持高性能实时通信和模块化扩展，适用于智能客服、语音助手、教育辅助、智能家居控制和健康咨询等多个领域。
AI项目与工具 2025年06月12日
讯飞星火X1

讯飞星火X1

讯飞星火X1是科大讯飞推出的基于全国产算力平台训练的大型语言模型，具备深度推理和“慢思考”能力，适用于数学、代码、逻辑推理、文本生成等任务。支持快慢思考统一模型，部署简便，算力需求低。广泛应用于教育、医疗、健康管理等领域，提供精准的智能服务与解决方案。
AI项目与工具 2025年06月12日
Character

Character

Character-3 是 Hedra Studio 推出的全模态 AI 视频生成工具，支持图像、文本和音频输入，生成高质量动态视频。具备全身动作捕捉、情感控制、精准对口型等功能，适用于创意视频、虚拟形象、教育、营销等多个场景。采用多模态融合与先进 AI 技术，提升视频自然度与连贯性，提高内容创作效率。
AI项目与工具 2025年06月12日
Ovis2

Ovis2

Ovis2是阿里巴巴国际团队开发的多模态大语言模型，采用结构化嵌入对齐技术提升视觉与文本的融合效果。支持视频、图像和多语言处理，强化了思维链推理和复杂场景下的OCR能力。提供多个参数规模的版本，适用于研究、开发及各类应用场景，展现卓越性能。
AI项目与工具 2025年06月12日
LongVILA

LongVILA

LongVILA是一款专为长视频理解设计的视觉语言AI模型，由多家知名研究机构共同开发。它具备强大的长上下文处理能力和多模态序列并行性，能在大量GPU上高效训练，无需梯度检查点。LongVILA通过五阶段训练流程，结合大规模数据集构建和高性能推理，显著提升了长视频字幕的准确性和处理效率。此外，它还支持多种应用场景，包括视频字幕生成、内容分析、视频问答系统等。
AI项目与工具 2025年06月12日
Looooooong Kimi

Looooooong Kimi

Looooooong Kimi 是一款专注于超长文本处理的智能工具，支持高达200万汉字的文本分析，具备文档上传与解析、多文件处理、网址阅读、实时搜索、语言翻译以及多模态信息识别等功能。该工具广泛应用于学术研究、法律分析、市场调研、教育辅导和技术支持等多个领域，能够高效提取和整理信息，满足用户对复杂文本处理的需求。
AI项目与工具 2025年06月12日
Florence

Florence

Florence-2是微软Azure AI团队研发的多功能视觉模型，支持图像描述、目标检测、视觉定位和图像分割等功能。该模型基于Transformer架构，采用序列到序列学习方法，利用自注意力机制实现多模态信息融合。通过训练大规模数据集，Florence-2在多个应用场景中表现出色，包括图像和视频分析、内容审核、辅助驾驶、医疗影像分析以及零售和库存管理。
AI项目与工具 2025年06月12日
xGen

xGen

xGen-MM是一款由Salesforce开发的开源多模态AI模型，具备处理文本和图像等数据类型的能力。该模型通过学习大量图像和文字信息，在视觉语言任务中表现出色，并通过开源模型、数据集和微调代码库促进模型性能的提升。xGen-MM具有多模态理解、大规模数据学习、高性能生成、开源可访问和微调能力等特点。其应用场景广泛，包括图像描述生成、视觉问答、文档理解、内容创作和信息检索等。
AI项目与工具 2025年06月12日
M2UGen

M2UGen

M2UGen是由腾讯PCG ARC实验室与新加坡国立大学共同研发的一款多模态音乐理解和生成框架，支持从文本、图像、视频等多种模态输入生成相应音乐。它具有强大的音乐理解能力、灵活的音乐编辑功能以及多样化的应用场景，适用于音乐制作、影视配乐、音乐教育等多个领域。凭借其创新的技术架构和卓越的表现力，M2UGen已成为当前最优秀的多模态音乐生成工具之一。
AI项目与工具 2025年06月12日
BALROG

BALROG

BALROG是一款用于评估大型语言模型（LLMs）和视觉语言模型（VLMs）在游戏环境中推理能力的框架。它通过程序化生成的游戏环境，测试模型的规划、空间推理及探索能力，并提供细粒度的性能指标和公开排行榜，以促进AI技术的发展，适用于游戏AI开发、机器人技术、虚拟现实等多个领域。
AI项目与工具 2025年06月12日