视觉语言模型
  1. 首页
  2. 视觉语言模型

列表

PaliGemma 2

PaliGemma 2

PaliGemma 2是一款由Google DeepMind研发的视觉语言模型（VLM），结合了SigLIP-So400m视觉编码器与Gemma 2语言模型，支持多种分辨率的图像处理。该模型具备强大的知识迁移能力和出色的学术任务表现，在OCR、音乐乐谱识别以及医学图像报告生成等方面实现了技术突破。它能够处理多模态任务，包括图像字幕生成、视觉推理等，并支持量化和CPU推理以提高计算效率。
AI项目与工具 2025年06月12日
NVILA

NVILA

NVILA是一款由NVIDIA开发的视觉语言模型，通过“扩展-压缩”策略优化处理高分辨率图像和长视频，兼具效率与准确性。它在图像和视频基准测试中表现优异，支持时间定位、机器人导航和医疗成像等应用场景，并通过参数高效微调和量化技术提升模型性能。未来将在GitHub和HuggingFace平台上开源。
AI项目与工具 2025年06月12日
Vision Parse

Vision Parse

Vision Parse 是一款开源工具，旨在通过视觉语言模型将 PDF 文件转换为 Markdown 格式。它具备智能识别和提取 PDF 内容的能力，包括文本和表格，并能保持原有格式与结构。此外，Vision Parse 支持多种视觉语言模型，确保解析的高精度与高速度。其应用场景广泛，涵盖学术研究、法律文件处理、技术支持文档以及电子书制作等领域。
AI项目与工具 2025年06月12日
Tennr

Tennr

Tennr是一款利用AI技术优化医疗文档处理的平台，核心为RaeLM™视觉语言模型，支持文档分类、信息提取、资格审核等功能，广泛应用于患者入院、转诊管理、保险索赔等场景，显著提高医疗服务效率并降低人力依赖。
AI项目与工具 2025年06月12日
SPRIGHT

SPRIGHT

SPRIGHT是由多所高校和机构联合开发的视觉-语言数据集，旨在提升文本到图像生成模型的空间一致性。通过重新描述约600万张图像，强化空间关系表达，如“左/右”、“上/下”等，显著提高图像生成的准确性。该数据集支持复杂场景的图像生成，并经过多维度评估验证其可靠性。SPRIGHT为视觉-语言模型的研究和应用提供了重要资源，广泛应用于图像生成、VR/AR、教育及科研等领域。
AI项目与工具 2025年06月12日
OmniManip

OmniManip

OmniManip是由北京大学与智元机器人联合实验室开发的通用机器人操作框架，结合视觉语言模型与三维操作技术，实现机器人在非结构化环境中的任务执行。其核心为以对象为中心的交互基元表示法，支持零样本泛化、跨平台部署及大规模仿真数据生成。通过双闭环系统设计与任务分解机制，提升操作精度与适应性，适用于日常操作、工业自动化及服务机器人等场景。
AI项目与工具 2025年06月12日
Tarsier2

Tarsier2

Tarsier2是字节跳动研发的大规模视觉语言模型，擅长生成高精度视频描述并在多项视频理解任务中表现优异。其核心技术包括大规模数据预训练、细粒度时间对齐微调以及直接偏好优化（DPO）。该模型在视频问答、定位、幻觉检测及具身问答等任务中均取得领先成绩，支持多语言处理，具有广泛的应用潜力。
AI项目与工具 2025年06月12日
SANA 1.5

SANA 1.5

SANA 1.5是由英伟达联合多所高校研发的高效线性扩散变换器，专用于文本到图像生成任务。其核心优势包括高效的训练扩展、模型深度剪枝、推理时扩展等技术，能够在不同计算预算下灵活调整模型性能。支持多语言输入，并具备开源特性，适用于创意设计、影视制作、教育等多个领域。实验表明，其生成质量接近行业领先水平，同时显著降低计算成本。
AI项目与工具 2025年06月12日
WebLI

WebLI

WebLI-100B是由Google DeepMind推出的超大规模视觉语言数据集，包含1000亿个图像与文本配对数据，是目前最大的视觉语言数据集之一。其设计旨在提升模型对长尾概念、文化多样性和多语言内容的理解能力。数据集通过网络爬取构建，保留了丰富的语言和文化多样性，支持多模态任务如图像分类、图像描述生成和视觉问答，广泛应用于人工智能研究、工程开发及教育领域。
AI项目与工具 2025年06月12日
PaliGemma 2 mix

PaliGemma 2 mix

PaliGemma 2 Mix 是谷歌 DeepMind 推出的多任务视觉语言模型，支持图像描述、目标检测、OCR、文档理解等功能。模型提供多种参数规模和分辨率选项，适用于不同场景。其基于开源框架开发，易于扩展，可通过简单提示切换任务。适用于科学问题解答、文档分析、电商内容生成等多个领域。
AI项目与工具 2025年06月12日