FluxSR

FluxSR是什么

FluxSR是一种新型的单步扩散模型，由上海交通大学、哈佛大学、华南理工大学以及华为诺亚方舟实验室联合开发，专注于真实世界图像的超分辨率（Real-ISR）任务。该模型基于FLUX.1-dev文本到图像（T2I）扩散模型，通过流轨迹蒸馏（FTD）技术，将多步流匹配模型压缩为单步超分辨率模型。FluxSR在保持T2I模型高真实感的基础上，实现了高效的高质量图像超分辨率生成。通过TV-LPIPS感知损失和注意力多样化损失（ADL）优化高频细节，有效减少伪影。在多个数据集上表现出色，特别是在无参考图像质量评估指标中表现突出，显著降低了计算成本，为高效、高质量的图像超分辨率提供了新思路。

FluxSR的主要功能

• 高效单步超分辨率重建：在单步扩散过程中将低分辨率图像高效恢复为高分辨率图像，显著降低计算成本和推理延迟，适用于快速图像处理需求。
• 高真实感图像生成：从预训练的文本到图像（T2I）模型中提取高真实感细节，并应用于超分辨率任务，生成具有丰富细节和高真实感的图像。
• 高频细节恢复与伪影抑制：能够有效恢复图像的高频细节，同时减少高频伪影和重复模式。

FluxSR的技术原理

• 流轨迹蒸馏（Flow Trajectory Distillation, FTD）：
  • 噪声到图像流的生成：利用预训练的T2I模型生成噪声到图像的流。
  • 低分辨率到高分辨率流的推导：基于数学关系推导出LR到HR的流轨迹，避免直接优化SR流导致的分布偏移。
• 单步扩散模型的训练策略：采用对大模型友好的训练方式，离线生成噪声到图像的流数据对，无需依赖额外教师模型，显著降低内存消耗和训练成本。
• 感知损失和正则化：
  • TV-LPIPS感知损失：结合总变差（TV）和LPIPS损失，强调高频分量的恢复并减少生成图像中的伪影。
  • 注意力多样化损失（ADL）：通过减少变换器中不同token的相似性，增强注意力多样性，消除高频伪影。
• 高效推理：在推理阶段仅依赖单个流模型，避免多步扩散模型的高计算开销。基于FTD技术，在单步中生成高质量的超分辨率图像，同时保持与多步模型相当的真实感。

FluxSR的项目地址

• GitHub仓库：https://github.com/JianzeLi-114/FluxSR
• arXiv技术论文：https://arxiv.org/pdf/2502.01993

FluxSR的应用场景

• 老旧照片修复：将低分辨率、模糊或损坏的老照片恢复为高分辨率、清晰的图像。
• 影视制作：在影视后期制作中提升低分辨率素材的分辨率，满足高清或4K制作需求。
• 医学影像增强：提升低分辨率医学影像（如X光、CT、MRI）的分辨率，辅助医生更准确地诊断疾病。
• 智能手机拍照：提高手机拍摄的低分辨率照片清晰度，尤其在低光或运动场景下。
• 质量检测：在工业生产中提升图像检测系统的分辨率，以更精准地识别产品缺陷。