视觉语言

Moondream

Moondream是一款小型的开源人工智能视觉语言模型,具有强大的图像处理能力和灵活性,能够在不同设备上运行。它基于Apache 2.0许可证,支持商业使用,并广泛应用于安全监控、无人机和机器人技术以及零售与购物领域。

ParGo

ParGo是一种由字节与中山大学联合开发的多模态大语言模型连接器,通过结合局部与全局token,提升视觉与语言模态的对齐效果。其核心模块PGP和CPP分别提取图像的局部和全局信息,增强细节感知能力。在多个基准测试中表现优异,尤其在文字识别和图像描述任务中优势明显。采用自监督学习策略,提高模型泛化能力,适用于视觉问答、图像字幕生成、跨模态检索等多种场景。

OmniSVG

OmniSVG是复旦大学与StepFun联合开发的全球首个端到端多模态SVG生成模型,基于预训练视觉语言模型,通过创新的SVG标记化技术实现结构与细节的解耦,支持从文本、图像或角色参考生成高质量矢量图形。其训练效率高,支持长序列处理,适用于图标设计、网页开发、游戏角色生成等场景,生成结果具备高度可编辑性和跨平台兼容性。

SPRIGHT

SPRIGHT是由多所高校和机构联合开发的视觉-语言数据集,旨在提升文本到图像生成模型的空间一致性。通过重新描述约600万张图像,强化空间关系表达,如“左/右”、“上/下”等,显著提高图像生成的准确性。该数据集支持复杂场景的图像生成,并经过多维度评估验证其可靠性。SPRIGHT为视觉-语言模型的研究和应用提供了重要资源,广泛应用于图像生成、VR/AR、教育及科研等领域。

VRAG

VRAG-RL是阿里巴巴通义大模型团队推出的视觉感知驱动的多模态RAG推理框架,旨在提升视觉语言模型在处理视觉丰富信息时的检索、推理和理解能力。通过定义视觉感知动作空间,实现从粗粒度到细粒度的信息获取,并结合强化学习和综合奖励机制优化模型性能。该框架支持多轮交互推理,具备良好的可扩展性,适用于智能文档问答、视觉信息检索、多模态内容生成等多种场景。

OmniVision

OmniVision是一款面向边缘设备的紧凑型多模态AI模型,参数量为968M。它基于LLaVA架构优化,能够处理视觉与文本输入,显著降低计算延迟和成本。OmniVision支持视觉问答、图像描述等功能,广泛应用于内容审核、智能助手、视觉搜索等领域。