Multiverse是什么
Multiverse是由以色列团队Enigma Labs开发的全球首个基于AI生成的多人游戏模型。该模型支持多人实时互动，玩家可以在虚拟世界中进行超车、漂移和加速等操作，且每次行为都会实时影响并重塑游戏环境。其核心在于通过AI技术实时生成一致的游戏画面，确保两名玩家看到的是逻辑统一的世界。该模型基于扩散模型架构，结合联合动作向量与双视角通道堆叠技术，解决了多人游戏中的视角一致性问题。训练成本仅为1500美元，可在普通PC上运行。项目代码、数据、权重及研究成果已全面开源，为AI在多人游戏领域的应用提供了新的方向。
Multiverse的主要功能
- 多人实时交互：支持两名玩家在同一虚拟环境中进行实时互动，如赛车游戏中的超车与碰撞，保持双方视角一致。
- 动态世界生成：根据玩家的操作实时生成游戏画面。
- 高效帧预测：准确预测未来帧，保障游戏流畅性与连贯性。
- 低成本运行：可在普通个人电脑上运行，降低硬件门槛。
Multiverse的技术原理
- 多人游戏架构：重新设计了输入输出连接方式，构建了一个合作式游戏模型。包括动作嵌入器、去噪网络和上采样器，分别处理玩家动作、生成帧和提升图像质量。
- 视角合并解决方案：将两名玩家的视角拼接成一张图像，融合为一个联合动作向量，作为统一场景输入，以确保视角一致性。
- 训练方法：
- 上下文扩展：采用稀疏采样方式，在有限帧数下捕捉车辆相对运动。
- 多人游戏训练：通过课程学习逐步增加预测时间，提高模型的物理一致性。
- 高效的长视野训练：使用分页方式解决大规模帧预测的内存限制。
Multiverse的项目地址
- 项目官网：https://enigma-labs.io/blog
- GitHub仓库：https://github.com/EnigmaLabsAI/multiverse
- HuggingFace模型库：https://huggingface.co/Enigma-AI
Multiverse的数据集
- 数据来源：数据来自索尼游戏《GT 赛车 4》（Gran Turismo 4）。
- 数据收集方法：利用游戏回放系统录制比赛录像，并通过计算机视觉提取控制指令。
- 自动数据生成：通过脚本模拟随机输入，自动生成多人游戏数据。
Multiverse的应用场景
- 多人游戏开发：用于创建更真实、互动性强的多人在线游戏。
- VR/AR应用：构建共享虚拟环境，增强沉浸感。
- AI训练与研究：作为开源模型，用于智能体训练和协作机制研究。
- 教育与培训：应用于驾驶、军事演练等虚拟训练场景。
- 娱乐与社交：支持虚拟聚会和在线活动。
- 模拟经营游戏：用于构建复杂的经济与生态模拟系统。
发表评论 取消回复