低秩分解

Delta

Delta-CoMe是一种由清华大学NLP实验室牵头研发的增量压缩算法,它通过低秩分解与混合精度量化技术,显著减少了大型语言模型的存储和内存需求,同时保持了模型性能几乎无损。该工具支持多任务处理、推理加速,并广泛适用于云计算、边缘计算及学术研究等领域,特别擅长应对数学、代码和多模态任务。

SVDQuant

SVDQuant是一种由MIT研究团队开发的后训练量化技术,专注于通过4位量化减少扩散模型的内存占用和推理延迟。它利用低秩分支技术吸收量化异常值,支持DiT和UNet架构,并能无缝集成LoRAs。SVDQuant适用于移动设备、个人电脑、云计算平台及低功耗设备,可大幅提升图像生成和处理效率。