ShotAdapter

ShotAdapter是由Adobe与UIUC联合开发的文本到多镜头视频生成框架。该框架基于微调的预训练文本到视频模型，引入过渡标记和局部注意力掩码策略，以实现对多镜头视频的有效生成。它能够确保角色在不同镜头中保持身份一致性，并支持用户通过文本提示精确控制镜头数量、时长及内容。ShotAdapter还提出了一种从单镜头视频数据集中构建多镜头视频数据集的新方法，通过采样、分割和拼接视频片段生成训练数据。该技术在影视制作、广告营销、教育、游戏开发和个人创作等多个领域具有广泛应用前景。