ObjectMover

ObjectMover是由香港大学与Adobe Research联合研发的一种图像编辑模型，旨在解决在图像中进行物体移动、插入或移除时出现的光照、阴影不协调及物体失真等问题。该模型将物体移动任务视为两帧视频的特殊情况，借助预训练视频生成模型的跨帧一致性学习能力，并通过微调实现图像编辑任务的迁移。其采用序列到序列建模方式，输入包括原始图像、目标物体图像和指令图，输出为经过调整后的合成图像。 ObjectMover的技术原理涵盖视频先验迁移、序列到序列建模、合成数据集构建以及多任务学习策略。这些方法使得模型能够准确处理光照、阴影和遮挡关系，并保持物体的身份特征。为了提升模型性能，研究团队利用游戏引擎生成大量高质量合成数据用于训练。 ObjectMover适用于多种场景，如特效制作、虚拟场景编辑、游戏关卡设计、产品展示及空间规划等。项目提供了官方网页和论文链接，供进一步了解和研究。