视觉语言模型
  1. 首页
  2. 视觉语言模型

列表

BALROG

BALROG

BALROG是一款用于评估大型语言模型（LLMs）和视觉语言模型（VLMs）在游戏环境中推理能力的框架。它通过程序化生成的游戏环境，测试模型的规划、空间推理及探索能力，并提供细粒度的性能指标和公开排行榜，以促进AI技术的发展，适用于游戏AI开发、机器人技术、虚拟现实等多个领域。
AI项目与工具 2025年06月12日
SmolVLM

SmolVLM

SmolVLM是一款由Hugging Face开发的轻量级视觉语言模型，专为设备端推理设计。该模型具有三个版本，包括SmolVLM-Base、SmolVLM-Synthetic和SmolVLM-Instruct，分别适用于不同的应用场景。SmolVLM借鉴了Idefics3的理念，采用SmolLM2 1.7B作为语言主干，并通过像素混洗技术提升视觉信息的压缩效率。其训练数据集包括Cauldron和
AI项目与工具 2025年06月12日
EvolveDirector

EvolveDirector

EvolveDirector是一个由阿里巴巴与南洋理工大学合作开发的文本到图像生成框架，通过与高级模型API交互获取数据对，结合预训练的视觉语言模型（VLMs）动态优化训练集，大幅降低数据量和训练成本。该框架支持多模型学习、动态数据集管理及在线训练，显著提升了生成图像的质量和多样性，广泛应用于内容创作、媒体娱乐、广告营销、教育科研等多个领域。
AI项目与工具 2025年06月12日
MMBench

MMBench

MMBench-Video是一个由多家高校和机构联合开发的长视频多题问答基准测试平台，旨在全面评估大型视觉语言模型（LVLMs）在视频理解方面的能力。平台包含约600个YouTube视频片段，覆盖16个类别，并配备高质量的人工标注问答对。通过自动化评估机制，MMBench-Video能够有效提升评估的精度和效率，为模型优化和学术研究提供重要支持。
AI项目与工具 2025年06月12日
WebLI

WebLI

WebLI-100B是由Google DeepMind推出的超大规模视觉语言数据集，包含1000亿个图像与文本配对数据，是目前最大的视觉语言数据集之一。其设计旨在提升模型对长尾概念、文化多样性和多语言内容的理解能力。数据集通过网络爬取构建，保留了丰富的语言和文化多样性，支持多模态任务如图像分类、图像描述生成和视觉问答，广泛应用于人工智能研究、工程开发及教育领域。
AI项目与工具 2025年06月12日
SANA 1.5

SANA 1.5

SANA 1.5是由英伟达联合多所高校研发的高效线性扩散变换器，专用于文本到图像生成任务。其核心优势包括高效的训练扩展、模型深度剪枝、推理时扩展等技术，能够在不同计算预算下灵活调整模型性能。支持多语言输入，并具备开源特性，适用于创意设计、影视制作、教育等多个领域。实验表明，其生成质量接近行业领先水平，同时显著降低计算成本。
AI项目与工具 2025年06月12日
Pixel Reasoner

Pixel Reasoner

Pixel Reasoner是由多所高校联合开发的视觉语言模型，通过像素空间推理增强对视觉信息的理解和分析能力。它支持直接对图像和视频进行操作，如放大区域或选择帧，以捕捉细节。采用两阶段训练方法，结合指令调优和好奇心驱动的强化学习，提升视觉推理性能。在多个基准测试中表现优异，适用于视觉问答、视频理解等任务，广泛应用于科研、教育、工业质检和内容创作等领域。
AI项目与工具 2025年06月11日
SmolVLA

SmolVLA

SmolVLA是Hugging Face开源的轻量级视觉-语言-行动（VLA）模型，专为经济高效的机器人设计。拥有4.5亿参数，可在CPU上运行，单个消费级GPU即可训练，适合在MacBook上部署。它能够处理多模态输入，生成动作序列，并通过异步推理提高控制效率。适用于物体抓取、家务劳动、货物搬运和机器人教育等场景。
AI项目与工具 2025年06月11日
ViLAMP

ViLAMP

ViLAMP是由蚂蚁集团与中国人民大学联合开发的视觉语言模型，专为高效处理长视频设计。采用混合精度策略，支持在单张A100 GPU上处理长达3小时的视频，提升处理效率并降低计算成本。具备长视频理解、关键信息提取、多任务处理等功能，适用于教育、监控、直播、影视制作及智能客服等场景。技术上通过差分关键帧选择与特征合并优化性能，实现精准且高效的视频分析。
AI项目与工具 2025年06月11日
SlideChat

SlideChat

SlideChat是一款先进的视觉语言助手，专注于处理和分析千兆像素级别的全切片病理图像。它具备强大的多模态对话能力和复杂指令响应能力，在显微镜检查、诊断等领域展现出卓越性能。通过两阶段训练机制，SlideChat实现了视觉与语言特征的有效对齐，并被广泛应用于病理诊断、医学教育、研究开发以及临床决策支持。 ---
AI项目与工具 2025年06月12日