DesignEdit

DesignEdit简介

DesignEdit是由微软亚洲研究院和北京大学的研究人员联合开发的一种AI图像编辑框架。该框架借鉴了设计领域的图层概念，采用了多层潜在分解和融合技术，能够在不进行额外训练的情况下实现精准的空间感知图像编辑和处理。通过关键掩码自注意力机制和伪影抑制方案，DesignEdit能够灵活处理图像中的各个对象，并执行复杂的操作，如移动、调整大小、移除等。

DesignEdit的资源链接

• 官方项目主页：https://design-edit.github.io/
• arXiv研究论文：https://arxiv.org/abs/2403.14487
• GitHub源码库：https://github.com/design-edit/DesignEdit
• Hugging Face Demo：https://huggingface.co/spaces/YuhuiYuan/DesignEdit

DesignEdit的核心功能

• 对象移除：DesignEdit可以精确移除图像中的单个或多个对象，并自动修复背景。
• 对象移动：用户可以将图像中的对象移动到新位置，保持与周围环境的和谐。
• 对象调整大小和翻转：DesignEdit支持对象的缩放和翻转操作，不影响图像的其他部分。
• 相机平移和缩放：DesignEdit可以模拟相机视角的变化，实现图像的平移和缩放效果。
• 跨图像组合：DesignEdit可以将不同图像中的元素组合在一起，创造出新的视觉内容。
• 设计图像编辑：DesignEdit专门用于设计图像和海报的编辑，能够处理文本、装饰等设计元素。

DesignEdit的工作原理

DesignEdit的工作原理基于两个核心子任务：多层潜在分解和多层潜在融合。

1. 多层潜在分解：
   • 概念：将图像的潜在表示分为多个层次，每个层次代表不同的对象或背景部分。
   • 关键掩码自注意力：采用关键掩码自注意力机制，确保在编辑特定区域时不会破坏其他区域。
   • 背景修复：在移除对象后，利用自注意力机制修复背景。
2. 多层潜在融合：
   • 指令引导的融合：根据用户的编辑指令，将多个潜在表示层融合到新的画布上。
   • 伪影抑制：通过伪影抑制方案减少编辑过程中可能出现的视觉瑕疵。
   • 和谐化处理：通过去噪步骤优化融合后的图像边缘。

整个编辑过程无需额外训练，使用深度学习模型辅助生成精确的编辑指令。