多模态

1. 首页
2. 多模态

ViDoRAG

ViDoRAG是阿里巴巴通义实验室联合高校开发的视觉文档检索增强生成框架，采用多智能体协作与动态迭代推理技术，提升复杂文档的检索与理解能力。通过高斯混合模型优化多模态信息整合，支持精准检索与高质量生成，适用于教育、金融、医疗等多个领域，显著提升文档处理效率与准确性。

AI项目与工具 2025年06月12日 26 点赞 0 评论 414 浏览

书生

书生通用大模型体系是一套全面、高效的AI解决方案，涵盖了语言处理、多模态分析、气象预报、翼型设计和三维建模等多个领域。

Ai平台模型 1970年01月01日 0 点赞 0 评论 414 浏览

混元图生视频

混元图生视频是腾讯混元推出的开源图生视频模型，支持用户上传图片并输入描述生成5秒短视频，具备对口型、动作驱动和背景音效自动生成等功能。模型适用于多种风格与场景，参数量达130亿，已在腾讯云上线并开源，支持本地部署与定制开发，适用于创意视频、特效制作及动画开发等多个领域。

AI项目与工具 2025年06月12日 43 点赞 0 评论 413 浏览

Matrix3D

Matrix3D 是一种由多所高校与科技企业联合开发的统一摄影测量模型，集姿态估计、深度预测、新视图合成与3D重建于一体。其核心技术为多模态扩散变换器，支持跨模态数据融合与灵活任务处理。通过掩码学习策略，提高数据利用效率并增强模型泛化能力。适用于VR/AR、游戏开发、影视制作等领域，具有高度交互性和灵活性。

AI项目与工具 2025年06月12日 49 点赞 0 评论 413 浏览

MiniCPM

MiniCPM-o 2.6 是一款高性能的多模态大模型，具备 8B 参数量，支持视觉、语音及多模态直播等多种功能。其在图像处理、语音识别和实时交互方面表现优异，采用高效的 token 技术提升推理速度，可在端侧设备上运行。支持多种语言和音色配置，适用于智能助手、内容创作、教育、客服和医疗等多个领域。

AI项目与工具 2025年06月12日 58 点赞 0 评论 413 浏览

OpenAI o4

OpenAI o4-mini 是一款高性能、低成本的小型推理模型，专为快速处理数学、编程和视觉任务优化。它具备多模态能力，可结合图像与文本进行推理，并支持工具调用以提高准确性。在多项基准测试中表现优异，尤其在数学和编程领域接近完整版模型。适用于教育、数据分析、软件开发及内容创作等多个场景，是高效率与性价比兼备的AI工具。

AI项目与工具 2025年06月11日 27 点赞 0 评论 412 浏览

日日新SenseNova V6

日日新SenseNova V6是商汤科技推出的第六代多模态大模型，基于6000亿参数架构，支持文本、图像、视频的原生融合。具备强推理、长记忆与情感表达能力，适用于视频分析、教育辅导、智能客服、具身智能等多个领域，提升交互体验与内容处理效率。

AI项目与工具 2025年06月11日 19 点赞 0 评论 410 浏览

Cradle

一个通用计算机控制的多模态AI框架，它可以使AI Agent能够像人类一样，能够直接控制键盘和鼠标，实现与任意开源代码或闭源代码软件的交互。

Ai开源项目 2025年06月05日 46 点赞 0 评论 409 浏览

OmniCam

OmniCam 是一种基于多模态输入的高级视频生成框架，结合大型语言模型与视频扩散模型，实现高质量、时空一致的视频内容生成。支持文本、视频或图像作为输入，精确控制摄像机运动轨迹，具备帧级操作、复合运动、速度调节等功能。采用三阶段训练策略提升生成效果，并引入 OmniTr 数据集增强模型性能。适用于影视、广告、教育及安防等多个领域，提高视频创作效率与质量。

AI项目与工具 2025年06月12日 18 点赞 0 评论 409 浏览

LiveKit Agents

LiveKit Agents 是一款基于 Python 的多模态 AI 工具框架，支持实时语音、视频和数据交互。其核心功能包括基于 WebRTC 的低延迟通信、与 OpenAI 等服务的深度集成、丰富的插件生态系统以及负载均衡与自动扩展能力。适用于虚拟助手、客户服务、实时翻译、视频内容审核等多个应用场景。

AI项目与工具 2025年06月12日 55 点赞 0 评论 409 浏览