SketchVideo

SketchVideo是由中国科学院大学、香港科技大学与快手可灵团队联合研发的基于草图的视频生成与编辑框架。该框架允许用户在关键帧上绘制草图，并结合文本提示，实现对视频空间布局和运动的精细控制。其核心技术基于DiT视频生成模型，引入了高效的草图控制网络，包括草图控制块和帧间注意力机制，能够将稀疏的关键帧草图信息传播至所有视频帧中。此外，SketchVideo支持对真实或合成视频进行细粒度编辑，通过视频插入模块和潜在融合技术，确保新内容与原始视频在空间和时间上的连贯性，同时保留未编辑区域的细节。该工具具备高效生成能力，内存优化设计使其能快速输出高质量视频。