Mora

Mora是由微软和理海大学的研究团队开发的一种多智能体框架，专为通用视频生成任务设计，旨在模拟并扩展OpenAI的Sora视频生成模型。该框架的核心理念是利用多个视觉智能体的合作，生成高质量的视频内容。Mora通过将视频生成过程分解为多个子任务，并为每个子任务分配一个专门的智能体，实现了高效的视频生成。 根据实验结果，Mora在生成高分辨率（1024×576）且时间持续12秒的视频方面表现优异，包含75帧。然而，在处理大量物体运动的场景时，其性能与Sora相比仍有差距。此外，生成超过12秒的视频会导致质量显著下降。 Mora具备多种功能，包括文本到视频生成、图像到视频生成、视频扩展与编辑、视频到视频编辑以及视频连接。它还可以创建和模拟数字世界，根据文本描述生成相应的视频序列。Mora的工作原理基于一个多智能体框架，通过协同多个专门化的AI智能体来完成视频生成任务。每个智能体负责处理特定的子任务，这些子任务共同构成完整的视频生成流程。