预训练数据集

FineWeb 2

FineWeb 2是一个涵盖超过1000种语言的多语言预训练数据集,通过语言识别、去重、内容过滤及PII匿名化处理生成。它支持多种NLP任务,如机器翻译和文本分类,旨在增强多语言模型的性能与普适性,并为研究者提供技术验证的工具与资源。