MCA-Ctrl(Multi-party Collaborative Attention Control)是由中国科学院计算技术研究所与中科院大学联合研发的图像定制生成框架。该框架基于文本和复杂视觉条件,实现高质量图像生成。MCA-Ctrl引入了两种注意力控制机制——Self-Attention Global Injection(SAGI)和Self-Attention Local Query(SALQ),以及一个主体定位模块(SLM),有效解决了背景不一致、主体混淆等问题。在零样本图像定制任务中,MCA-Ctrl表现出优于现有方法的能力,能够保持主体特征与条件信息的一致性。 MCA-Ctrl具备多项核心功能,包括高质量图像定制、主体特征保持、背景一致性维护、零样本生成能力,以及支持多种图像定制任务,如主体生成、替换和添加等。其技术原理基于多主体协同扩散过程,结合自注意力层操作与主体定位模块,确保生成图像的准确性与一致性。此外,该框架无需对每个主体进行微调训练,具有较强的通用性和适用性。 项目已开源,相关代码可在GitHub上获取,同时提供了详细的技术论文供进一步研究。
发表评论 取消回复