PixArt

PixArt-Σ是由华为诺亚方舟实验室、大连理工大学和香港大学的研究团队共同开发的一款基于扩散Transformer架构（DiT）的文本生成图像模型。该模型专为直接生成高达4K分辨率的高质量图像而设计。通过整合高级元素并采用从弱到强的训练方法，PixArt-Σ不仅提升了生成图像的保真度，而且增强了图像与文本提示之间的对齐效果。其生成的图像在美学质量上可媲美当前顶级的文本到图像产品，如DALL·E 3和Midjourney V6，并且在遵循文本提示方面表现出色。 PixArt-Σ的主要功能包括： - **4K分辨率图像生成**：模型能够直接生成3840×2160分辨率的高清图像。 - **高保真转换**：模型能够精确地遵循文本描述，确保图像与文本的一致性。 - **高效率训练**：采用“弱到强”训练策略，通过引入高质量数据和高效的令牌压缩技术，显著提高训练效率。 - **小模型尺寸**：尽管能够生成高分辨率图像，但模型参数量相对较小（0.6B参数），这使得模型更加高效且易于部署。 PixArt-Σ的工作原理基于DiT架构，结合了扩散模型和Transformer架构。在预训练阶段，模型使用大量的文本-图像对来学习文本和图像之间的关联。通过迭代过程，模型逐渐学习如何根据文本描述生成高质量的图像。此外，PixArt-Σ还采用了一种由弱到强的训练策略，逐步引入更高质量的数据集和更复杂的训练策略，从而提升模型性能。