多模态
  1. 首页
  2. 多模态

列表

LiveKit Agents

LiveKit Agents

LiveKit Agents 是一款基于 Python 的多模态 AI 工具框架，支持实时语音、视频和数据交互。其核心功能包括基于 WebRTC 的低延迟通信、与 OpenAI 等服务的深度集成、丰富的插件生态系统以及负载均衡与自动扩展能力。适用于虚拟助手、客户服务、实时翻译、视频内容审核等多个应用场景。
AI项目与工具 2025年06月12日
腾讯混元Turbo S

腾讯混元Turbo S

腾讯混元Turbo S是腾讯推出的高效AI模型，采用Hybrid-Mamba-Transformer架构，提升推理效率并降低计算成本。支持快速响应、多领域推理、内容创作及多模态生成，适用于对话、代码、逻辑推理等场景。兼具短思维链与长思维链能力，性能对标行业领先模型。
AI项目与工具 2025年06月12日
OmniCorpus

OmniCorpus

OmniCorpus是上海人工智能实验室联合多家知名高校和研究机构共同创建的一个大规模多模态数据集，包含86亿张图像和16960亿个文本标记，支持中英双语。它通过整合来自网站和视频平台的文本和视觉内容，提供了丰富的数据多样性。OmniCorpus不仅规模庞大，而且数据质量高，适合多模态机器学习模型的训练和研究。它广泛应用于图像识别、视觉问答、图像描述生成和内容推荐系统等领域。
AI项目与工具 2025年06月12日
InternVideo2.5

InternVideo2.5

InternVideo2.5是一款由上海人工智能实验室联合多机构开发的视频多模态大模型，具备超长视频处理能力和细粒度时空感知。它支持目标跟踪、分割、视频问答等专业视觉任务，适用于视频检索、编辑、监控及自动驾驶等多个领域。模型通过多阶段训练和高效分布式系统实现高性能与低成本。
AI项目与工具 2025年06月12日
LAM

LAM

LAM是由微软开发的大型行动模型，能够理解和执行真实世界中的操作任务。它不仅能解析用户输入，还能生成具体行动指令，如启动程序或控制设备。LAM在Office等Windows应用中表现出色，任务完成率高于GPT-4。具备多模态输入理解、动态规划、环境交互和自主执行能力，适用于办公自动化、智能家居、客户服务等多个场景，显著提升任务执行效率和智能化水平。
AI项目与工具 2025年06月12日
Tanka

Tanka

Tanka是一款具备长期记忆和上下文理解能力的AI通讯工具，旨在提升团队协作效率。它支持智能回复、任务提醒、多模态消息处理，并可集成多种通讯平台。适用于项目管理、客户服务、销售支持及知识管理等多个场景，助力企业实现高效、智能的沟通与信息管理。
AI项目与工具 2025年06月12日
WebSSL

WebSSL

WebSSL是由Meta和纽约大学等机构开发的视觉自监督学习模型，基于大规模网络图像数据训练，无需语言监督即可学习有效视觉表示。其包含多个变体，参数规模从3亿到70亿不等，在多模态任务如视觉问答、OCR和图表理解中表现出色。通过筛选含文本图像数据，显著提升特定任务性能。模型具备良好的扩展性，适用于智能客服、文档处理、医疗影像分析等多个领域。
AI项目与工具 2025年06月11日
Spirit LM

Spirit LM

Spirit LM 是一种由 Meta AI 开发的多模态语言模型，能够处理文本和语音数据，支持跨模态学习。其基础版（BASE）和表达版（EXPRESSIVE）分别侧重于语义理解和情感表达。Spirit LM 可用于自动语音识别（ASR）、文本到语音（TTS）、语音分类及情感分析等任务，在语音助手、语音转写、有声读物等领域具有广泛应用前景。
AI项目与工具 2025年06月12日
NVILA

NVILA

NVILA是一款由NVIDIA开发的视觉语言模型，通过“扩展-压缩”策略优化处理高分辨率图像和长视频，兼具效率与准确性。它在图像和视频基准测试中表现优异，支持时间定位、机器人导航和医疗成像等应用场景，并通过参数高效微调和量化技术提升模型性能。未来将在GitHub和HuggingFace平台上开源。
AI项目与工具 2025年06月12日
Goku

Goku

Goku是由香港大学与字节跳动联合开发的AI视频生成模型，支持文本到图像、文本到视频、图像到视频等多种生成方式。其核心优势在于高质量的视频输出、低制作成本及多模态生成能力。Goku+作为扩展版本，专注于广告视频创作，具备稳定的动作表现和丰富的表情交互。模型基于大规模数据集和先进架构，适用于广告、教育、娱乐等多个领域，提升了内容创作效率与质量。
AI项目与工具 2025年02月11日