多模态

1. 首页
2. 多模态

NEXUS

NEXUS-O是一款由多家知名机构联合开发的多模态AI模型，能够处理音频、图像、视频和文本等多种输入，并以相应形式输出结果。它在视觉理解、音频问答、语音识别和翻译等方面表现出色，具备强大的跨模态对齐与交互能力。模型基于视觉语言预训练，结合高质量音频数据提升性能，并通过多模态任务联合训练增强泛化能力。适用于智能语音助手、视频会议、教育、智能驾驶、医疗健康等多个领域。

AI项目与工具 2025年06月12日 84 点赞 0 评论 431 浏览

SwiftChat

一款基于React Native开发的快速、安全、跨平台聊天应用，支持实时流式聊天功能和Markdown语法，还可以生成AI图像，兼容DeepSeek、Amazon Bedrock、Ollama和OpenAI等模型。

Ai开源项目 2025年06月05日 44 点赞 0 评论 430 浏览

视界一粟YiSu

北京极佳视界科技有限公司联合清华大学自动化系共同发布的Sora级视频生成大模型。

Ai视频生成 2025年06月05日 64 点赞 0 评论 430 浏览

BALROG

BALROG是一款用于评估大型语言模型（LLMs）和视觉语言模型（VLMs）在游戏环境中推理能力的框架。它通过程序化生成的游戏环境，测试模型的规划、空间推理及探索能力，并提供细粒度的性能指标和公开排行榜，以促进AI技术的发展，适用于游戏AI开发、机器人技术、虚拟现实等多个领域。

AI项目与工具 2025年06月12日 37 点赞 0 评论 430 浏览

FlexIP

FlexIP 是腾讯推出的图像合成框架，支持在保持主体身份的同时进行个性化编辑。其双适配器架构分离身份保持与编辑功能，结合动态权重门控机制实现灵活控制，并通过多模态数据训练提升生成质量与稳定性，适用于艺术创作、广告设计、影视制作等多个领域。

AI项目与工具 2025年06月11日 31 点赞 0 评论 428 浏览

The Language of Motion

The Language of Motion是一款由斯坦福大学李飞飞团队开发的多模态语言模型，能够处理文本、语音和动作数据，生成对应的输出模态。该模型在共同语音手势生成任务上表现出色，且支持情感预测等创新任务。它采用编码器-解码器架构，并通过端到端训练实现跨模态信息对齐。The Language of Motion广泛应用于游戏开发、电影制作、虚拟现实、增强现实及社交机器人等领域，推动了虚拟角色自

AI项目与工具 2025年06月12日 100 点赞 0 评论 428 浏览

Lyra

Lyra是一款由香港中文大学、SmartMore和香港科技大学联合研发的高效多模态大型语言模型（MLLM）。它通过整合视觉、语音和文本三种模态的信息，实现了强大的跨模态理解和推理能力。Lyra不仅擅长处理长语音数据，还支持流式文本-语音生成及跨模态信息交互，适用于智能助手、客户服务、教育培训、医疗健康等多个领域。

AI项目与工具 2025年06月12日 18 点赞 0 评论 427 浏览

Show

Show-o 是一款基于统一 Transformer 架构的多模态 AI 工具，集成了自回归和离散扩散建模技术，可高效处理视觉问答、文本到图像生成、图像修复与扩展以及混合模态生成等多种任务。其创新性技术显著提高了生成效率，减少了采样步骤，适用于社交媒体内容创作、虚拟助手、教育与培训、广告营销、游戏开发及影视制作等多个领域。

AI项目与工具 2025年06月12日 86 点赞 0 评论 426 浏览

Versatile

Versatile-OCR-Program是一款开源多模态OCR工具，支持从教育材料中提取文本、公式、表格等结构化数据，输出为JSON或Markdown格式，准确率高达90%-95%。它基于DocLayout-YOLO、Google Vision和MathPix等技术，支持多语言处理，适用于教育数据集制作、教学辅助、AI模型训练及个人学习等场景。

AI项目与工具 2025年06月11日 77 点赞 0 评论 425 浏览

LangGraph WhatsApp Agent

LangGraph WhatsApp Agent 是一个开源 AI 工具，用于在 WhatsApp 上构建智能代理。支持多代理架构、多模态交互及持久化对话状态，集成多种语言模型，提供安全可靠的通信环境。适用于客户服务、信息推送、教育辅导等多个场景，便于开发者快速构建和部署高效的 WhatsApp 机器人。

AI项目与工具 2025年06月11日 59 点赞 0 评论 425 浏览