图像对齐

GroundingBooth

GroundingBooth 是一种创新的文本到图像定制框架,通过结合文本-图像对齐模块和遮罩交叉注意力层,实现了前景主体与背景对象的空间精准对齐。其核心功能包括单主题与多主题定制、身份保留、文本-图像一致性保障及复杂场景下的高精度生成。该工具广泛应用于个性化商品定制、艺术创作、游戏设计、广告营销等多个领域,为视觉内容创作提供了强大的技术支持。

LongAlign

LongAlign是一种针对文本到图像生成任务的改进方法,通过分段级编码技术和分解偏好优化,有效解决了长文本输入的对齐问题。它能够显著提升生成图像与输入文本的一致性,广泛应用于艺术创作、游戏开发、影视制作及教育等领域,具备高精度和强泛化能力。

IMAGPose

IMAGPose是由南京理工大学开发的统一条件框架,用于人体姿态引导的图像生成。其核心功能包括多场景适应、细节与语义融合、灵活对齐及全局一致性保障。通过FLC、ILC和CVA模块,解决了传统方法在生成多样姿态图像时的局限性,适用于虚拟现实、影视制作、电商展示等多个领域。

QLIP

QLIP是一种基于二进制球形量化(BSQ)的视觉标记化方法,具备高质量图像重建和零样本图像理解能力。通过对比学习目标和两阶段训练策略,QLIP可作为视觉编码器或图像标记器,广泛应用于多模态任务,如文本到图像生成、图像到文本生成及多模态理解。其技术设计提升了模型的语义表达与训练效率,为统一多模态模型的开发提供了新思路。

PIA

PIA是一款个性化图像动画生成器,可以生成具有高运动可控性和强文本和图像对齐性的视频,与条件图像对齐,通过文本实现动作控制,与各种个性化T2I模型兼容,无需特定调整。