SwiftBrush V2

SwiftBrush V2 是一种基于文本到图像的单步扩散模型，通过优化训练方法和模型融合技术，实现了与多步Stable Diffusion扩散模型相当的性能。该模型采用了改进的权重初始化策略、高效的LoRA训练方式，并引入了一种新颖的夹紧CLIP损失机制，以增强图像与文本的对齐效果，从而提升图像质量。SwiftBrush V2 的训练过程无需依赖真实图像数据，大幅降低了数据采集和处理的成本，同时提升了数据效率。