LiveSketch

LiveSketch是一款AI生成视频工具，用户通过文本提示将静态素描转化为动画，提供一种简单直观的方法，使素描生动活泼。无论是用于讲故事、插图、网站设计还是演示文稿，LiveSketch都能赋予静态素描生命，使其更丰富有趣。

只需一句文本提示，LiveSketch就能将寥寥几笔涂鸦变成生动的SVG动画片段，易于编辑和调整，通过文本控制动画的动作和幅度。

草图是人类用于直观传达想法的通用工具。动画草图为思想表达打开了新维度，并被设计师广泛用于各种目的。

草图动画是一个费力过程，需要丰富的经验和专业设计技能。我们提出一种方法，只需提供指示所需运动的文本提示，即可自动将运动添加到单主题草图中（因此，“为它注入生命”）。输出是以矢量表示形式提供的简短动画，可以轻松编辑。

我们的方法不需要大量训练，而是利用大型预训练文本到视频扩散模型的运动先验，使用分数蒸馏损失来指导笔画位置。为了促进自然流畅运动并保留草图外观，我们通过两个组件对学习到的运动进行建模。第一个控制小的局部变形，第二个控制全局仿射变换。

令人惊讶的是，即使难以生成草图视频的模型，LiveSketch仍可作为动画抽象表示的有用骨干。

LiveSketch有其局限性。首先，目前只能通过简单地修改描述运动的提示来控制生成结果。这些修改和控制仅限于模型能创建的小动作，且文本提示需要与初始草图的语义一致，当主体包含多个对象时则无法区分。

未来，LiveSketch这样的技术或许能在艺术创作、儿童教育等领域大放异彩，大大降低艺术创造门槛，提升教育趣味性和互动性。