ProX

ProX（Programming Every Example）是一种专为提升大型语言模型预训练数据质量而设计的框架。它将数据清洗视为编程问题，支持模型自动执行诸如字符串标准化和噪声行移除等细粒度操作。即使使用小型模型（如0.3B参数），也能够展现出与人类专家相媲美的数据处理能力。实验显示，使用ProX处理后的数据进行预训练的模型，在多种下游任务中表现出了超过2%的性能提升。此外，ProX具备广泛的适用性，无论是在不同模型规模还是不同的预训练语料库上，都能显著提高模型的表现，同时大幅降低训练所需的计算资源。