自动驾驶
DrivingDojo
DrivingDojo是一个由中国科学院自动化研究所与美团无人车团队合作研发的数据集,包含18,000个视频片段,涵盖全面的驾驶操作、多智能体交互及开放世界驾驶知识。它定义了动作指令跟随(AIF)基准,用于评估世界模型的预测能力,并支持自动驾驶算法开发、世界模型训练、多智能体交互模拟及罕见事件处理等多个应用场景。
EfficientTAM
EfficientTAM是一款由Meta AI研发的轻量级视频对象分割与跟踪模型,基于非层次化Vision Transformer(ViT)构建,通过引入高效记忆模块显著降低了计算复杂度。它能够实现高质量的视频对象分割与多目标跟踪,同时保持较低的延迟和较小的模型尺寸,特别适用于移动设备上的实时视频处理。该模型已在多个视频分割基准测试中表现出色,并支持多种应用场景,包括移动视频编辑、视频监控、增强现
Free Video
Free Video-LLM是一种无需训练的高效视频语言模型,基于提示引导的视觉感知技术,可直接对视频内容进行理解和推理,适用于视频问答、内容分析等多种场景。通过时空采样优化和减少视觉标记,它在保持高性能的同时显著降低了计算复杂度。
DriveDreamer4D
DriveDreamer4D是一个专注于提升自动驾驶场景4D重建质量的框架,通过整合世界模型先验知识生成新的轨迹视频,同时确保时空一致性,从而增强训练数据集的多样性和真实性。它具备4D场景重建、新轨迹视频合成、时空一致性控制以及提升渲染质量等功能,广泛应用于自动驾驶系统开发、闭环仿真测试及传感器数据模拟等领域。
---