Vision Search Assistant

Vision Search Assistant (VSA) 是一种融合视觉语言模型（VLMs）与网络代理的框架，旨在提升模型对未知视觉内容的理解能力。该框架基于互联网检索，使 VLMs 能够处理和回答与未见图像相关的问题。在开放集和封闭集问答测试中，VSA 的表现显著优于其他模型，如 LLaVA-1.6-34B、Qwen2-VL-72B 和 InternVL2-76B。Vision Search Assistant 可广泛应用于现有的 VLMs，增强其处理新图像和事件的能力。