多模态模型

InternVL3

InternVL3是上海人工智能实验室推出的多模态大型语言模型,具备文本、图像、视频等多模态数据处理能力。采用原生多模态预训练方法,提升语言与视觉理解效率,并支持工具使用、3D视觉、工业图像分析等复杂任务。模型可通过API部署,适用于智能交互、图像识别、视频分析及客服系统等多种场景。

豆包1.5·UI

豆包1.5·UI-TARS是字节跳动推出的一款面向图形用户界面(GUI)的智能代理模型,具备视觉理解、逻辑推理和操作执行能力。它无需预定义规则,即可实现端到端的GUI任务自动化,适用于办公、测试、客服及机器人交互等多个场景。模型基于多模态融合与端到端学习技术,支持高效的界面交互与精准的视觉定位。

LiveCC

LiveCC是一款由新加坡国立大学Show Lab与字节跳动联合开发的实时视频解说模型,基于自动语音识别字幕进行训练。它能够实时生成自然流畅的视频评论和回答相关问题,适用于体育、新闻、教育等多个场景。模型采用流式训练方法,结合大规模数据集和Qwen2-VL架构,具备低延迟和高质量的生成能力。LiveCC通过LiveSports-3K基准测试评估性能,广泛应用于视频内容分析与智能交互场景。

基石智算

基石智算是青云科技推出的AI算力云服务平台,支持多种异构算力资源的统一调度与管理,具备弹性扩容、分布式任务调度、一站式AI开发及模型部署等功能。平台适用于AI模型训练、高性能计算、数据科学分析及模型推理等多种场景,提供灵活的服务模式和全面的资源监控与管理能力,助力用户高效开展人工智能相关工作。

Step1X

Step1X-Edit 是由阶跃星辰团队推出的通用图像编辑框架,结合多模态大语言模型与扩散模型,支持多样化的图像编辑任务,如主体修改、背景更换、风格转换等。用户可通过自然语言指令进行操作,系统能精准理解并生成高质量图像。该工具基于大规模数据集训练,具备强大的真实场景适应能力,适用于创意设计、影视制作、社交媒体等多个领域。

UniTok

UniTok是由字节跳动联合高校研发的统一视觉分词器,支持视觉生成与理解任务。其采用多码本量化技术,将视觉特征分割并独立量化,显著提升离散token的表示能力。在ImageNet上实现78.6%的零样本分类准确率,图像重建质量达0.38。可作为多模态大语言模型的视觉输入模块,广泛应用于图像生成、视觉问答、内容创作及跨模态检索等场景。

NoteLLM

NoteLLM 是一款基于多模态大型语言模型的笔记推荐框架,支持文本与图像信息的融合处理。通过自动生成标签、压缩嵌入、对比学习和指令微调等技术,提升推荐准确性与相关性。其升级版 NoteLLM-2 引入多模态上下文学习与晚期融合机制,增强视觉信息处理能力,适用于个性化推荐、冷启动优化及内容创作辅助等场景。

Insert Anything

Insert Anything是由多所高校联合开发的图像插入框架,支持多种场景下的对象无缝融合,如艺术创作、虚拟试穿和影视特效等。基于大规模数据集训练,具备高分辨率输出与语义一致性保障。用户可通过掩码或文本指令实现精准控制,适用于创意设计与数字内容生成领域。

QLIP

QLIP是一种基于二进制球形量化(BSQ)的视觉标记化方法,具备高质量图像重建和零样本图像理解能力。通过对比学习目标和两阶段训练策略,QLIP可作为视觉编码器或图像标记器,广泛应用于多模态任务,如文本到图像生成、图像到文本生成及多模态理解。其技术设计提升了模型的语义表达与训练效率,为统一多模态模型的开发提供了新思路。

KuaiMod

KuaiMod 是快手开发的多模态大模型内容审核系统,能高效识别和过滤有害及低质量视频。它结合视觉语言模型(VLM)和链式推理(CoT)技术,支持动态策略更新和强化学习,提升审核准确性。系统在离线测试中准确率达92.4%,有效降低用户举报率,优化推荐体验,助力平台内容生态健康发展。