VideoPainter

VideoPainter 是由香港中文大学、腾讯ARC实验室、东京大学和澳门大学等机构联合开发的视频修复与编辑框架，适用于各种长度的视频内容处理。该框架采用双分支架构，结合轻量级上下文编码器与预训练扩散模型，实现高效的背景保留与前景生成。其支持插件式操作，用户可根据需求灵活调整修复效果，并引入ID重采样技术以确保长视频中对象的一致性。此外，VideoPainter构建了VPData和VPBench两大数据集，涵盖超过39万段视频剪辑，为模型训练和评估提供了坚实基础。在视频质量、掩码区域保留和文本对齐等多个指标上表现优异，为视频修复与编辑领域带来了重要进展。