视觉语言
Vision Search Assistant
Vision Search Assistant (VSA) 是一种结合视觉语言模型与网络代理的框架,旨在提升模型对未知视觉内容的理解能力。它通过网络检索,使 VLMs 能够处理和回答有关未见图像的问题。VSA 在开放集和封闭集问答测试中表现出色,支持图像描述生成、网络知识搜索、协作生成等功能,可应用于图像识别、新闻分析、教育、电商和旅游等多个领域。
Proxy Lite
Proxy Lite是一款开源的轻量级视觉语言模型,具有30亿参数,支持自动化网页操作。它通过“观察-思考-工具调用”机制,实现网页交互、数据抓取、表单填写等功能,适用于自动化测试、数据提取和智能任务辅助等场景。该工具资源占用低,可在消费级GPU上高效运行,适合开发者快速部署和使用。
FakeShield
FakeShield是一款由北京大学研发的多模态大型语言模型框架,主要用于检测和定位图像篡改。它通过结合视觉与文本信息,生成篡改区域掩码并提供详细的判断依据。其核心模块包括领域标签引导的检测模块和多模态定位模块,支持多种篡改技术的分析,具有较高的准确性与可解释性。FakeShield广泛应用于社交媒体内容审核、法律取证、新闻媒体真实性验证以及版权保护等领域。