Insert Anything

Insert Anything是由浙江大学、哈佛大学和南洋理工大学的研究团队联合开发的一种基于上下文编辑的图像插入框架。该框架能够将参考图像中的对象自然地融入目标场景，适用于艺术创作、人脸替换、影视合成、虚拟试穿、配饰定制及数字道具替换等多种实际应用场景。其训练数据来源于包含120,000组提示图像对的AnyInsertion数据集，具备强大的适应性与灵活性，可为创意内容生成和虚拟试穿等应用提供技术支持。

主要功能

• 多场景支持：可处理人物、物体和服装等多种图像插入任务。
• 灵活控制：支持通过掩码或文本指令进行插入控制，用户可自定义插入区域和内容。
• 高质量输出：生成高分辨率图像，保持细节与风格一致性。

技术原理

• AnyInsertion数据集：基于大规模数据集训练，涵盖多种插入任务。
• 扩散变换器（DiT）：利用多模态注意力机制处理文本与图像输入。
• 上下文编辑机制：采用多联画格式整合参考图像与目标场景，提升插入自然度。
• 语义引导：结合图像与文本编码器提取语义信息，确保风格一致。
• 自适应裁剪策略：动态调整裁剪区域，保障小目标的细节保留。

项目信息

• 项目官网：https://song-wensong.github.io/insert-anything/
• GitHub仓库：https://github.com/song-wensong/insert-anything
• arXiv论文：https://arxiv.org/pdf/2504.15009

应用场景

• 艺术创作：辅助元素组合与创意激发。
• 虚拟试穿：提升购物体验。
• 影视特效：降低拍摄成本。
• 广告设计：提高创意效率。
• 文化遗产修复：支持文物与建筑的数字化修复。