VidSketch

VidSketch是由浙江大学CAD&CG国家重点实验室和软件学院研发的视频生成框架，能够根据用户提供的手绘草图和简要文本提示生成高质量的视频动画。该工具采用“层级草图控制策略”，可根据用户绘画水平动态调整草图引导强度，提升不同技能用户的使用体验。同时，通过“时空注意力机制”增强视频帧间的连贯性，确保生成内容流畅自然。VidSketch旨在降低视频创作的技术门槛，使普通用户也能轻松生成符合创意需求的高质量动画作品。 其核心功能包括：支持从手绘草图与文本生成高质量视频、适应不同绘画水平的用户、增强视频的时空一致性、支持多种视觉风格，并且无需专业技能即可完成创作。技术上基于视频扩散模型（Video Diffusion Models, VDMs），结合层级草图控制与时空注意力机制，实现对视频生成过程的精准控制。此外，用户输入的手绘草图与文本提示可协同引导生成内容，确保视频既符合视觉布局，又满足语义描述。 VidSketch适用于创意设计、教学辅助、广告制作、社交媒体内容创作以及动画与影视制作等多个领域，为用户提供高效、灵活的视频生成解决方案。