SPDL

SPDL（Scalable and Performant Data Loading）是由Meta AI开发的开源工具，旨在提升AI模型训练的效率。该工具利用多线程技术实现高吞吐量数据加载，显著减少计算资源的消耗。相较于传统的基于进程的方法，SPDL能够将吞吐量提升2至3倍，并通过Free-Threaded Python的兼容性，在禁用GIL的环境下进一步提升30%的性能。SPDL采用异步事件循环和线程安全操作优化数据加载流程，同时支持分布式系统以及主流AI框架PyTorch，适用于大规模数据集和复杂的任务需求。