BrushNet

BrushNet简介

BrushNet是由腾讯PCG部门的ARC实验室与香港大学研究人员共同开发的一种基于扩散模型的图像修复工具。该工具采用双分支架构，能够高效处理图像中的遮罩区域。其中一个分支专注于像素级特征提取，另一个分支负责图像生成。这种设计使BrushNet能够精细地将遮罩信息融入修复过程，从而确保修复区域与原始图像内容的一致性和高质量。

与先前的图像修复技术（如Blended Latent Diffusion、Stable Diffusion Inpainting、HD-Painter、PowerPaint等）相比，BrushNet在风格、内容、颜色及提示对齐方面表现出更优的连贯性。

BrushNet的功能特性

• 多功能修复能力：BrushNet适用于多种场景和风格的图像修复，包括人类、动物、室内和室外场景，以及自然图像、铅笔画、动漫、插画和水彩画等。
• 像素级修复精度：BrushNet能够识别并处理图像中的遮罩区域，实现精准的像素级修复，确保修复区域与原始图像在视觉上无缝对接。
• 保留未遮罩区域：通过分层控制和模糊融合策略，BrushNet在修复过程中保留未遮罩区域，避免对原始图像内容不必要的改动。
• 与预训练模型兼容：作为即插即用的模型，BrushNet可以与多种预训练的扩散模型结合，利用其强大的生成能力完成修复任务。
• 灵活可控性：用户可以通过调整模型参数来控制修复的范围和细节，包括修复区域的大小和修复内容的详细程度。

BrushNet的工作原理

BrushNet的工作原理基于扩散模型，通过双分支架构执行图像修复任务。

以下是BrushNet工作原理的简要概述：

1. 双分支架构：BrushNet的核心是双分支架构，一个分支用于处理遮罩图像的特征，另一个分支负责生成图像。
2. 特征提取：遮罩分支使用变分自编码器（VAE）对遮罩图像进行编码，提取潜在特征，这些特征随后用于指导修复过程。
3. 预训练模型：生成分支利用预训练的扩散模型生成图像内容。
4. 特征融合：提取的遮罩图像特征被逐步融合到预训练的扩散模型中，以控制修复过程。
5. 去噪和生成：在反向扩散过程中，模型通过迭代去噪步骤逐步恢复清晰图像，每一步都考虑遮罩图像的特征，确保视觉一致性。
6. 模糊融合策略：为保留未遮罩区域的细节，BrushNet采用模糊融合策略，减少硬边缘和不自然过渡。
7. 输出修复图像：最终，模型输出一个修复后的图像，其中遮罩区域自然且连贯地填充，同时保留了未遮罩区域的原始内容。