DynamicCity

DynamicCity简介

DynamicCity是由上海AI Lab开发的一种大规模动态场景生成框架，专注于生成具有语义信息的4D LiDAR场景。该框架能够处理大范围的空间（80×80×6.4 m³）和长序列数据（最多128帧）。DynamicCity采用VAE模型将4D场景编码为紧凑的HexPlane表示，并利用基于扩散模型（DiT）的生成器重建动态场景。该框架支持多种应用场景，包括轨迹引导、指令驱动生成和动态场景修复。在CarlaSC和Occ3D-Waymo数据集上，DynamicCity表现出色，优于现有方法，展示了其在高质量动态场景生成方面的强大能力，为自动驾驶和机器人技术提供了重要支持。

DynamicCity的主要功能

• 高质量4D场景生成：能够生成大规模、高质量的动态LiDAR场景，捕捉真实环境中动态变化的时空演变，支持长达128帧的长序列生成。
• 多样化下游应用：
  • 轨迹引导生成：根据输入的特定轨迹控制场景中对象的运动。
  • 指令驱动生成：根据指令（如“左转”、“右转”、“前进”）控制车辆或场景的运动。
  • 动态场景修复：对部分缺失或损坏的场景进行修复，生成完整的动态场景。
  • 布局条件生成：基于鸟瞰图布局控制车辆和其他对象的放置。

DynamicCity的技术原理

• VAE模型：
  • 编码阶段：将4D LiDAR场景编码为紧凑的HexPlane表示，通过3D卷积神经网络提取特征并压缩为六个2D特征图，提升HexPlane的拟合质量。
  • 解码阶段：采用Expansion & Squeeze Strategy (ESS) 并行解码HexPlane，重建3D特征体积，相比传统方法显著提升性能。
• DiT模型：
  • HexPlane生成：基于编码后的HexPlane，DiT模型用于生成新的HexPlane，实现4D LiDAR场景的生成。
  • 条件生成：DiT支持基于条件注入（如轨迹、指令、布局等）实现多样化的4D场景生成，具备更精细的控制能力。

DynamicCity的项目资源

• 项目官网：https://dynamic-city.github.io/
• GitHub仓库：https://github.com/3DTopia/DynamicCity
• arXiv技术论文：https://arxiv.org/pdf/2410.18084

DynamicCity的应用场景

• 自动驾驶仿真：用于生成复杂动态场景，辅助自动驾驶算法的开发与测试。
• 虚拟现实：创建逼真的虚拟环境，支持VR和AR应用。
• 机器人导航：模拟三维动态环境，增强机器人的路径规划与障碍物检测能力。
• 交通流量分析：建模和预测交通流量，优化城市交通系统。
• 智能城市规划：生成城市级动态场景，辅助城市布局和公共设施规划。