多模态
  1. 首页
  2. 多模态

列表

Transfusion

Transfusion

Transfusion是由Meta公司开发的多模态AI模型，能够同时生成文本和图像，并支持图像编辑功能。该模型通过结合语言模型的下一个token预测和扩散模型，在单一变换器架构上处理混合模态数据。Transfusion在预训练阶段利用了大量的文本和图像数据，表现出强大的扩展性和优异的性能。其主要功能包括多模态生成、混合模态序列训练、高效的注意力机制、模态特定编码、图像压缩、高质量图像生成、文本生成
AI项目与工具 2025年06月12日
GO

GO

GO-1是智元机器人推出的首个通用具身基座模型，采用ViLLA架构，结合多模态大模型与混合专家系统，具备场景感知、动作理解和精细执行能力。支持小样本快速泛化、跨本体部署与持续进化，广泛应用于零售、制造、家庭及科研等领域，推动具身智能技术发展。
AI项目与工具 2025年06月12日
Insight

Insight

Insight-V是一款由南洋理工大学、腾讯和清华大学联合研发的多模态大型语言模型，专为提升长链视觉推理能力而设计。该模型通过多智能体系统将任务分解为推理与总结两步，并采用两阶段训练流程优化性能。其渐进式数据生成和多粒度评估方法进一步提升了模型的推理精度，在多个视觉推理基准测试中表现出色。
AI项目与工具 2025年06月12日
Gen

Gen

Gen-3 Alpha是一款由Runway公司研发的AI视频生成模型，能够生成长达10秒的高清视频片段，支持文本到视频、图像到视频的转换，并具备精细的时间控制及多种高级控制模式。其特点在于生成逼真的人物角色、复杂的动作和表情，提供运动画笔、高级相机控制和导演模式等高级控制工具，确保内容的安全性和合规性。
AI项目与工具 2025年06月12日
Maya

Maya

Maya是一款开源多语言多模态模型，基于LLaVA框架开发，支持中文、法语、西班牙语等多种语言，专注于提升低资源语言的AI内容生成能力。它结合图像和文本数据，实现跨模态对齐和指令微调，广泛应用于跨语言内容理解、图像分析、教育和电子商务等领域。
AI项目与工具 2025年06月12日
Awesome Chinese LLM

Awesome Chinese LLM

整理了开源的中文大语言模型（LLM），主要关注规模较小、可私有化部署且训练成本较低的模型，目前已收录了100多个相关资源。
Ai学习资源 2025年06月05日
MOFA

MOFA

MOFA-Video是由腾讯AI实验室和东京大学研究人员开发的开源图像生成视频模型。该工具通过生成运动场适配器对图像进行动画处理，能够通过稀疏控制信号（如手动轨迹、面部关键点序列或音频）实现对视频生成过程中动作的精准控制。MOFA-Video支持零样本学习，能够将多种控制信号组合使用，生成复杂的动画效果，并能生成较长的视频片段。 ---
AI项目与工具 2025年06月12日
Multimodal Live API

Multimodal Live API

Multimodal Live API是谷歌推出的一种支持文本、音频和视频交互的AI接口，具备低延迟、实时双向通信和自然语言处理能力。它允许用户通过多种输入方式与AI互动，并支持会话记忆和外部功能调用，广泛应用于客户服务、在线教育、远程医疗、视频会议和娱乐等领域。
AI项目与工具 2025年06月12日
Klavis AI

Klavis AI

Klavis AI 是一个基于 MCP 协议的开源平台，提供稳定可靠的 MCP 服务器和多客户端集成能力。支持多种工具定制化配置，内置身份验证功能，保障安全性。平台采用分布式架构，适用于大规模用户场景，并通过 API 实现灵活部署与管理，适用于 AI 开发、数据处理、内容创作及企业协作等多种应用场景。
AI项目与工具 2025年06月11日
MMedAgent

MMedAgent

MMedAgent是一款面向医疗领域的多模态AI平台，集成了指令优化的多模态大型语言模型（MLLM）及一系列定制化医疗工具，支持多种医学成像模式（如MRI、CT、X射线等），可高效处理视觉问答、分类、定位、分割、医学报告生成（MRG）及检索增强生成（RAG）等任务，显著提升了医疗数据处理效率与准确性。
AI项目与工具 2025年06月12日