多模态
  1. 首页
  2. 多模态

列表

QLIP

QLIP

QLIP是一种基于二进制球形量化（BSQ）的视觉标记化方法，具备高质量图像重建和零样本图像理解能力。通过对比学习目标和两阶段训练策略，QLIP可作为视觉编码器或图像标记器，广泛应用于多模态任务，如文本到图像生成、图像到文本生成及多模态理解。其技术设计提升了模型的语义表达与训练效率，为统一多模态模型的开发提供了新思路。
AI项目与工具 2025年06月11日
星火医疗大模型X1

星火医疗大模型X1

星火医疗大模型X1是科大讯飞开发的专注于医疗领域的深度推理模型，具备强大的复杂问题处理能力和循证推理能力，显著降低医疗幻觉问题。该模型支持个性化健康建议、辅助诊断、病历质控、多模态医疗应用及健康管理等多种功能，广泛应用于医院和健康服务平台，提升医疗效率与准确性。
AI项目与工具 2025年06月12日
CogView

CogView

CogView-3-Plus是智谱AI研发的AI文生图模型，采用Transformer架构替代传统的UNet，优化了扩散模型中的噪声规划。它能够根据用户指令生成高质量、高美学评分的图像，支持多种分辨率，并具有实时生成图像的能力。该模型已被集成到“智谱清言”APP中，并提供API服务，适用于艺术创作、游戏设计、广告制作等多个图像生成领域。
AI项目与工具 2025年06月12日
华藏通用大模型

华藏通用大模型

华藏通用大模型是一个多功能的人工智能平台，它通过集成先进的算法和大量数据训练，为用户提供了一个强大的工具，以支持各种应用场景，从客户服务到专业咨询，再到数据分析和自动...
创作工具 1970年01月01日
LAM

LAM

LAM是由微软开发的大型行动模型，能够理解和执行真实世界中的操作任务。它不仅能解析用户输入，还能生成具体行动指令，如启动程序或控制设备。LAM在Office等Windows应用中表现出色，任务完成率高于GPT-4。具备多模态输入理解、动态规划、环境交互和自主执行能力，适用于办公自动化、智能家居、客户服务等多个场景，显著提升任务执行效率和智能化水平。
AI项目与工具 2025年06月12日
OmniCorpus

OmniCorpus

OmniCorpus是上海人工智能实验室联合多家知名高校和研究机构共同创建的一个大规模多模态数据集，包含86亿张图像和16960亿个文本标记，支持中英双语。它通过整合来自网站和视频平台的文本和视觉内容，提供了丰富的数据多样性。OmniCorpus不仅规模庞大，而且数据质量高，适合多模态机器学习模型的训练和研究。它广泛应用于图像识别、视觉问答、图像描述生成和内容推荐系统等领域。
AI项目与工具 2025年06月12日
Ultravox

Ultravox

Ultravox 是一种多模态大型语言模型（LLM），能够直接处理文本和语音输入，无需额外的语音识别步骤。其核心技术包括多模态投影器，用于将音频数据转换为高维空间表示，显著提升语音理解和处理效率。该模型支持实时语音对话、多语言扩展及领域特定知识的学习，适用于智能客服、虚拟助手、语言学习、实时翻译及教育等领域。
AI项目与工具 2025年06月12日
LobeChat

LobeChat

LobeChat 是一款开源的 AI 聊天框架，支持多供应商集成，提供知识库管理、多模态交互（视觉识别和文本转语音）、插件扩展等功能。用户可通过一键部署创建私有 AI 聊天服务，并支持文件上传与管理。其应用场景广泛，包括客户服务、个人助理、教育、企业沟通、内容创作和语言学习等领域。
AI项目与工具 2025年06月12日
DanceGRPO

DanceGRPO

DanceGRPO 是由字节跳动与香港大学联合开发的视觉生成强化学习框架，支持文本到图像、文本到视频、图像到视频等多种任务，兼容多种生成模型与奖励机制。其通过强化学习优化生成过程，提升视觉内容质量与一致性，降低显存压力，提高训练效率与稳定性，适用于视频生成和多模态内容创作。
AI项目与工具 2025年06月11日
MM1.5

MM1.5

MM1.5是苹果公司研发的多模态大型语言模型，具备强大的文本与图像理解能力，包括视觉指代、定位及多图像推理功能。它通过数据驱动的训练方法，实现了从1B到30B参数规模的性能提升，并推出了视频和移动UI专用版本，为多模态AI技术发展提供重要参考。主要应用场景涵盖图像与视频理解、视觉搜索、辅助驾驶、智能助手及教育领域。
AI项目与工具 2025年06月12日