DreamVideo

DreamVideo-2是由复旦大学和阿里巴巴集团等机构联合研发的创新性零样本视频生成框架。该框架能够依据单一图像及界定框序列生成具有明确主题和精准运动轨迹的视频，无需在测试阶段进行额外的微调。其核心技术包括参考注意力机制，用于捕捉主题外观；基于二值掩码的运动控制模块，实现对主题运动轨迹的精确操控；以及混合掩码参考注意力与重加权扩散损失，用于优化主题表现力并平衡主题学习与运动控制之间的关系。DreamVideo-2通过结合WebVid-10M数据集与内部数据集，有效支持零样本视频定制任务，在主题定制和运动控制方面展现出显著优势。