SDXL

SDXL-Lightning是一种基于扩散模型的文本到图像生成技术，由字节跳动的研究团队开发。该模型针对传统扩散模型在生成速度和计算成本上的限制进行了优化，采用了SDXL架构，并结合了渐进式和对抗式蒸馏方法，能够在一至少数步骤内快速生成1024像素分辨率的高质量图像。这种方法在保持图像质量的同时，显著提升了生成速度。 SDXL-Lightning提供了一个开源模型和权重，包括LoRA版本和完整的UNet权重，便于研究人员和开发者进一步研究和开发。该模型支持与现有的LoRA模块和控制插件（ControlNet）兼容，可以轻松集成到现有的图片生成系统中，为用户提供更多创作灵活性。 SDXL-Lightning的核心技术包括扩散模型、渐进式蒸馏、对抗式蒸馏和鉴别器设计。通过使用预训练的扩散模型的U-Net编码器作为鉴别器的骨干网络，SDXL-Lightning能够在潜在空间中操作，支持在所有时间步长上的鉴别，并具有良好的泛化能力。此外，在训练过程中采用对抗式损失和多种训练技术，确保生成图像的质量和多样性。