视觉语言模型

1. 首页
2. 视觉语言模型

Moondream

Moondream是一款小型的开源人工智能视觉语言模型，具有强大的图像处理能力和灵活性，能够在不同设备上运行。它基于Apache 2.0许可证，支持商业使用，并广泛应用于安全监控、无人机和机器人技术以及零售与购物领域。

AI项目与工具 2024年01月01日 84 点赞 0 评论 498 浏览

SigLIP 2

SigLIP 2 是 Google DeepMind 开发的多语言视觉-语言模型，具有强大的图像与文本对齐能力。它支持多种语言输入，具备零样本分类、图像-文本检索等功能，并通过 Sigmoid 损失函数和自监督学习技术提升训练效率与模型性能。其支持多种分辨率的变体，适用于文档理解、视觉问答及开放词汇任务。该模型基于 Vision Transformer 架构，具备良好的兼容性。

AI项目与工具 2025年06月12日 94 点赞 0 评论 496 浏览

OmniSVG

OmniSVG是复旦大学与StepFun联合开发的全球首个端到端多模态SVG生成模型，基于预训练视觉语言模型，通过创新的SVG标记化技术实现结构与细节的解耦，支持从文本、图像或角色参考生成高质量矢量图形。其训练效率高，支持长序列处理，适用于图标设计、网页开发、游戏角色生成等场景，生成结果具备高度可编辑性和跨平台兼容性。

AI项目与工具 2025年06月12日 90 点赞 0 评论 489 浏览

VRAG

VRAG-RL是阿里巴巴通义大模型团队推出的视觉感知驱动的多模态RAG推理框架，旨在提升视觉语言模型在处理视觉丰富信息时的检索、推理和理解能力。通过定义视觉感知动作空间，实现从粗粒度到细粒度的信息获取，并结合强化学习和综合奖励机制优化模型性能。该框架支持多轮交互推理，具备良好的可扩展性，适用于智能文档问答、视觉信息检索、多模态内容生成等多种场景。

AI项目与工具 2025年06月11日 84 点赞 0 评论 481 浏览

SPRIGHT

SPRIGHT是由多所高校和机构联合开发的视觉-语言数据集，旨在提升文本到图像生成模型的空间一致性。通过重新描述约600万张图像，强化空间关系表达，如“左/右”、“上/下”等，显著提高图像生成的准确性。该数据集支持复杂场景的图像生成，并经过多维度评估验证其可靠性。SPRIGHT为视觉-语言模型的研究和应用提供了重要资源，广泛应用于图像生成、VR/AR、教育及科研等领域。

AI项目与工具 2025年06月12日 77 点赞 0 评论 464 浏览

NVILA

NVILA是一款由NVIDIA开发的视觉语言模型，通过“扩展-压缩”策略优化处理高分辨率图像和长视频，兼具效率与准确性。它在图像和视频基准测试中表现优异，支持时间定位、机器人导航和医疗成像等应用场景，并通过参数高效微调和量化技术提升模型性能。未来将在GitHub和HuggingFace平台上开源。

AI项目与工具 2025年06月12日 68 点赞 0 评论 459 浏览

Gemini Robotics

Gemini Robotics 是谷歌 DeepMind 基于 Gemini 2.0 开发的机器人系统，融合视觉-语言-动作模型，支持复杂任务执行与环境适应。具备三维空间理解、物体检测、轨迹预测和开放词汇指令执行能力，适用于工业制造、物流仓储、家庭服务、医疗健康等多个领域。系统通过数据驱动训练，结合真实操作与多模态信息，实现高效、灵活的机器人控制。

AI项目与工具 2025年06月12日 17 点赞 0 评论 457 浏览

ScreenAI

ScreenAI是一款专为理解和处理用户界面（UI）及信息图表而设计的AI视觉语言模型。它能够识别和理解UI元素及其相互关系，并生成与屏幕UI元素相关的文本，如问题回答、UI导航指令和内容摘要。ScreenAI通过多模态编码器结合视觉和语言信息，并采用自回归解码器生成自然语言响应。此外，ScreenAI还能适应不同屏幕格式，提供精确的UI导航和内容摘要功能。

AI项目与工具 2024年01月01日 16 点赞 0 评论 430 浏览

Helix

Helix 是 Figure 公司推出的视觉-语言-动作（VLA）模型，专为人形机器人设计，支持对上半身的高精度、高频次控制，频率达 200Hz。它能基于自然语言指令执行未见过的物品操作，具备强大的泛化能力。系统采用端到端训练方式，可在低功耗设备上运行，适用于多机器人协作、家庭服务、工业自动化等多种场景，具有较高的商业化潜力。

AI项目与工具 2025年06月12日 69 点赞 0 评论 422 浏览

Vision Search Assistant

Vision Search Assistant (VSA) 是一种结合视觉语言模型与网络代理的框架，旨在提升模型对未知视觉内容的理解能力。它通过网络检索，使 VLMs 能够处理和回答有关未见图像的问题。VSA 在开放集和封闭集问答测试中表现出色，支持图像描述生成、网络知识搜索、协作生成等功能，可应用于图像识别、新闻分析、教育、电商和旅游等多个领域。

AI项目与工具 2025年06月12日 100 点赞 0 评论 419 浏览