SaRA

SaRA是一种创新性的预训练扩散模型微调方法，由上海交通大学与腾讯优图实验室联合开发。该方法通过重新激活预训练阶段看似无用的参数，使模型能够快速适应新任务。SaRA采用核范数低秩稀疏训练方案来避免过拟合，并结合渐进式参数调整策略，显著提升了模型的适应性和泛化能力。此外，SaRA降低了计算成本，仅需少量代码修改即可实现，具备极高的实用价值。