DELIFT
简介：DELIFT是一种针对大型语言模型微调的数据优化算法，通过成对效用度量与次模优化技术，有效减少数据量需求，同时维持甚至提升模型性能。它适用于指令调优、任务特定微调及持续微调三个关键阶段，并具备高计算效率和广泛适用性，广泛应用于数据科学家、研究人员及教育工作者等领域。
官网地址
DELIFT（Data Efficient Language model Instruction Fine-Tuning）是一种创新的算法，旨在通过优化大型语言模型（LLMs）在指令调优、任务特定微调及持续微调阶段的数据选择，实现高效的数据利用。该方法基于成对效用度量与次模优化技术，能够从大规模数据集中挑选出多样化且最优的数据子集，从而显著降低计算资源的消耗，同时确保或提升模型性能。实验结果表明，DELIFT可将微调所需的训练数据量减少约70%，并大幅提高计算效率。
发表评论 取消回复