CLEAR

CLEAR是由新加坡国立大学研发的一种创新性线性注意力机制，旨在提升预训练扩散变换器（DiTs）生成高分辨率图像的效率。通过将每个查询的注意力限定在局部窗口内，CLEAR实现了对图像分辨率的线性复杂度，从而大幅降低计算成本。实验结果显示，在经过10K次迭代微调后，CLEAR能够在保持与原始模型相近性能的同时，减少99.5%的注意力计算，并在生成8K图像时提速6.3倍。此外，CLEAR具备跨模型和插件的零样本泛化能力，同时支持多GPU并行推理，增强了模型的适用性和扩展性。