多模态模型
  1. 首页
  2. 多模态模型

列表

BAGEL

BAGEL

BAGEL是字节跳动开源的多模态基础模型，拥有140亿参数，采用混合变换器专家架构（MoT），通过两个独立编码器捕捉图像的像素级和语义级特征。它能够进行图像与文本融合理解、视频内容理解、文本到图像生成、图像编辑与修改、视频帧预测、三维场景理解与操作、世界导航以及跨模态检索等任务。BAGEL在多模态理解基准测试中表现优异，生成质量接近SD3，并适用于内容创作、三维场景生成、可视化学习和创意广告生成等
AI项目与工具 2025年06月11日
Gemma 3n

Gemma 3n

Gemma 3n 是谷歌 I/O 开发者大会推出的端侧多模态 AI 模型，基于 Gemini Nano 架构，采用逐层嵌入技术，将内存占用压缩至 2-4B 参数模型水平。支持文本、图像、短视频和音频输入，可生成结构化文本输出，并具备音频转录、情感分析等功能。可在本地设备运行，响应时间低至 50 毫秒，适用于语音助手、内容生成和学术任务定制。
AI项目与工具 2025年06月11日
Veo 3

Veo 3

Veo 3是谷歌推出的新一代视频生成模型，在I/O开发者大会上发布。它是首个能生成视频背景音效的模型，可合成画面并匹配人物对话和口型，支持1080P高质量视频生成，具备物理模拟与口型同步能力，可生成超过60秒的视频片段，并支持多种视觉风格。Veo 3整合了多项先进技术，适用于影视制作、广告营销及教育领域。
AI项目与工具 2025年06月11日
混元图像2.0

混元图像2.0

混元图像2.0是腾讯开发的AI图像生成工具，支持文本、语音、草图等多种输入方式，具备实时生成能力。其采用单双流DiT架构和多模态大语言模型，生成图像写实性强、细节丰富，且响应速度快，适用于创意设计、广告营销、教育、游戏等多个领域。用户可通过网页端直接操作，实现高效的图像创作体验。
AI项目与工具 2025年06月11日
KuaiMod

KuaiMod

KuaiMod 是快手开发的多模态大模型内容审核系统，能高效识别和过滤有害及低质量视频。它结合视觉语言模型（VLM）和链式推理（CoT）技术，支持动态策略更新和强化学习，提升审核准确性。系统在离线测试中准确率达92.4%，有效降低用户举报率，优化推荐体验，助力平台内容生态健康发展。
AI项目与工具 2025年06月11日
QLIP

QLIP

QLIP是一种基于二进制球形量化（BSQ）的视觉标记化方法，具备高质量图像重建和零样本图像理解能力。通过对比学习目标和两阶段训练策略，QLIP可作为视觉编码器或图像标记器，广泛应用于多模态任务，如文本到图像生成、图像到文本生成及多模态理解。其技术设计提升了模型的语义表达与训练效率，为统一多模态模型的开发提供了新思路。
AI项目与工具 2025年06月11日
Insert Anything

Insert Anything

Insert Anything是由多所高校联合开发的图像插入框架，支持多种场景下的对象无缝融合，如艺术创作、虚拟试穿和影视特效等。基于大规模数据集训练，具备高分辨率输出与语义一致性保障。用户可通过掩码或文本指令实现精准控制，适用于创意设计与数字内容生成领域。
AI项目与工具 2025年06月11日
NoteLLM

NoteLLM

NoteLLM 是一款基于多模态大型语言模型的笔记推荐框架，支持文本与图像信息的融合处理。通过自动生成标签、压缩嵌入、对比学习和指令微调等技术，提升推荐准确性与相关性。其升级版 NoteLLM-2 引入多模态上下文学习与晚期融合机制，增强视觉信息处理能力，适用于个性化推荐、冷启动优化及内容创作辅助等场景。
AI项目与工具 2025年06月11日
UniTok

UniTok

UniTok是由字节跳动联合高校研发的统一视觉分词器，支持视觉生成与理解任务。其采用多码本量化技术，将视觉特征分割并独立量化，显著提升离散token的表示能力。在ImageNet上实现78.6%的零样本分类准确率，图像重建质量达0.38。可作为多模态大语言模型的视觉输入模块，广泛应用于图像生成、视觉问答、内容创作及跨模态检索等场景。
AI项目与工具 2025年06月11日
Step1X

Step1X

Step1X-Edit 是由阶跃星辰团队推出的通用图像编辑框架，结合多模态大语言模型与扩散模型，支持多样化的图像编辑任务，如主体修改、背景更换、风格转换等。用户可通过自然语言指令进行操作，系统能精准理解并生成高质量图像。该工具基于大规模数据集训练，具备强大的真实场景适应能力，适用于创意设计、影视制作、社交媒体等多个领域。
AI项目与工具 2025年06月11日