WebLI

WebLI-100B是什么

WebLI-100B是由Google DeepMind开发的超大规模视觉语言数据集，包含1000亿个图像与文本配对数据。作为WebLI数据集的扩展版本，它通过从网络中收集大量图像及其对应的标题或页面标题构建而成。相比之前最大的视觉语言数据集，WebLI-100B的规模扩大了十倍，有助于提升模型对长尾概念、文化多样性和多语言内容的理解能力。在构建过程中，研究者仅进行基础的数据筛选，以最大程度保留语言和文化的多样性。该数据集为训练更具包容性的多模态模型提供了重要的基础资源。

WebLI-100B的主要功能

• 支持大规模预训练：WebLI-100B提供1000亿个图像-文本对，为视觉语言模型（VLMs）的预训练提供丰富的数据资源，显著增强模型在多种任务中的表现。
• 提升文化多样性：数据集中包含来自不同文化背景的图像和文本，帮助模型更好地理解和生成与多元文化相关的视觉和语言内容。
• 增强多语言能力：涵盖多种语言的文本信息，有助于提升模型在低资源语言上的性能，促进多语言任务的发展。
• 支持多模态任务：适用于图像分类、图像描述生成、视觉问答等多种多模态任务，为相关模型的开发提供强大支持。

WebLI-100B的技术原理

• 数据收集：
  • 来源：数据主要来源于互联网，通过大规模网络爬取获取图像及其对应的文本描述（如alt文本或页面标题）。
  • 规模：包含1000亿个图像-文本对，是当前最大的视觉语言数据集之一。
• 数据过滤：
  • 基本过滤：为确保数据质量和多样性，WebLI-100B仅进行了基本筛选，如去除有害图像和个人身份信息（PII），以保留语言和文化的多样性。
  • 质量过滤（可选）：研究中也尝试使用CLIP等模型进行数据优化，但可能会影响某些文化背景的代表性。
• 数据处理：
  • 文本处理：采用多语言mt5分词器对图像的alt文本和页面标题进行分词处理，确保文本的一致性与多样性。
  • 图像处理：将图像调整为224×224像素，以满足模型输入需求。

WebLI-100B的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2502.07617

WebLI-100B的应用场景

• 人工智能研究者：用于模型预训练和算法探索，提升视觉语言模型的性能。
• 工程师：开发多语言和跨文化应用，如图像描述、视觉问答和内容推荐系统。
• 内容创作者：生成多语言图像描述和标签，提升内容的本地化与多样性。
• 跨文化研究者：分析不同文化背景下的图像与文本，研究文化差异。
• 教育工作者和学生：作为教学资源，学习多模态数据处理与分析。