OmniCam

OmniCam 是一个先进的多模态视频生成框架，能够通过摄像机控制实现高质量的视频创作。该系统支持多种输入方式，包括文本描述、视频轨迹或图像参考，从而实现对摄像机运动的精准控制。OmniCam 结合了大型语言模型（LLM）和视频扩散模型，确保生成内容在时间与空间上保持一致。其采用三阶段训练策略，包括大规模模型训练、视频扩散模型训练以及强化学习微调，以提升视频生成的准确性和连贯性。 OmniCam 支持多模态输入，用户可通过文本、视频或图像提供参考信息，精确控制摄像机运动轨迹。系统具备帧级控制能力，支持复合运动、缩放、旋转等多种操作，并可实现连续指令执行。此外，OmniCam 引入了 OmniTr 数据集，为多模态相机控制提供了丰富的训练数据。技术上，它通过轨迹规划、内容渲染和细节完善等步骤完成视频生成，结合 Llama3.1 模型进行优化，并利用 PPO 算法进行强化学习微调。 OmniCam 可广泛应用于影视制作、广告宣传、教育与培训以及智能安防等多个领域，为视频创作提供高效、灵活的解决方案。