CineMaster

CineMaster是由快手研发的具备3D感知能力的文本到视频生成框架。其功能类似于视频版的ControlNet，允许用户通过多种控制信号对视频中的物体位置和摄像机运动进行精准操控。该工具支持用户通过文本提示生成视频，并结合深度图、相机轨迹和物体标签等信息进行细致调整。快手开发了一套从大规模视频中提取3D边界框和摄像机轨迹的流程，为CineMaster的训练与应用提供了坚实的数据基础。 CineMaster的主要功能包括：在3D空间中自由调整物体位置与摄像机运动，实现精准的场景布局；提供交互式设计与实时预览功能，便于优化视觉效果；基于深度图、物体标签和摄像机轨迹生成符合用户需求的视频内容；自动化数据标注流程可高效提取3D信息，提升模型训练效率；并支持高质量视频输出，适用于多种创作场景。 技术上，CineMaster采用两阶段工作流程：第一阶段由用户定义3D布局并生成控制信号，第二阶段将这些信号输入扩散模型以生成视频。此外，系统还包含语义布局控制网络、摄像机适配器以及自动化数据标注流水线，确保生成视频的质量与可控性。通过多阶段训练策略，进一步提升了视频生成的精度与多样性。 CineMaster的项目官网和arXiv论文已公开，供研究人员和开发者参考与使用。