Still-Moving是由DeepMind研发的AI视频生成框架,旨在通过用户定制的文本到图像(T2I)模型权重,将这些模型的特征适配至文本到视频(T2V)模型中。这一过程利用轻量级的空间适配器,确保T2I模型的个性化和风格化特点与T2V模型的运动特性相结合。通过这种方式,用户能够在没有特定视频数据的情况下生成定制视频,从而有效减少数据收集和处理的需求。 Still-Moving的核心优势在于其轻量级的空间适配器和运动适配器模块。这些模块在训练阶段帮助模型学习如何在静态图像上模拟运动,并在最终应用中仅保留空间适配器,以恢复T2V模型的运动特性。这种设计不仅使模型能够适应不同的运动模式,还能保持定制T2I模型的风格化特点。此外,Still-Moving还能够将T2I模型的个性化和风格化先验与T2V模型的运动先验无缝结合,生成高质量且符合用户需求的视频内容。
发表评论 取消回复