视频生成框架
ShotAdapter
ShotAdapter是一款由Adobe与UIUC联合开发的文本到多镜头视频生成框架,通过过渡标记和局部注意力掩码策略,实现角色身份一致性和镜头内容精准控制。支持用户通过文本提示调节镜头数量、时长和背景,适用于影视、广告、教育、游戏等领域,具备高效、灵活和可扩展的技术特点。
Motion Dreamer
Motion Dreamer是由香港科技大学(广州)研发的视频生成框架,采用两阶段架构生成物理合理的视频内容。通过引入“实例流”实现从稀疏到密集的运动控制,支持用户以少量提示生成时间连贯的视频。其随机掩码训练策略增强了模型的推理能力与泛化性能,已在多个数据集上验证其优越性。适用于视频创作、动画制作、VR/AR及自动驾驶等多个领域。