自动驾驶

OpenVision

OpenVision是加州大学圣克鲁兹分校推出的多模态视觉编码器系列,具备从5.9M到632.1M参数的多种模型,适用于不同硬件环境。其采用渐进式多阶段分辨率训练策略,训练效率比同类模型高2至3倍,在多模态任务中表现优异。支持可变大小patch输入,兼具灵活性与高效性,广泛应用于工业检测、机器人视觉、自动驾驶及科研教育等领域。

Insight

Insight-V是一款由南洋理工大学、腾讯和清华大学联合研发的多模态大型语言模型,专为提升长链视觉推理能力而设计。该模型通过多智能体系统将任务分解为推理与总结两步,并采用两阶段训练流程优化性能。其渐进式数据生成和多粒度评估方法进一步提升了模型的推理精度,在多个视觉推理基准测试中表现出色。

Fast3R

Fast3R是一种基于Transformer架构的高效多视图3D重建方法,可在单次前向传播中处理上千张图像,大幅提高重建效率并减少误差累积。支持多视图并行处理,具备高精度、强可扩展性和快速推理能力,适用于机器人视觉、增强现实、虚拟现实、文化遗产保护及自动驾驶等多个场景。

Depth Pro

Depth Pro 是一款由苹果公司开发的先进单目深度估计模型,能够在不到一秒的时间内从单张2D图像生成高分辨率的3D深度图。它支持零样本学习,无需依赖相机内参即可提供度量级深度信息,并在细节捕捉方面表现出色。Depth Pro 在增强现实、3D重建、图像编辑、机器人导航和自动驾驶等领域展现出广泛的应用前景。

RF

RF-DETR是一款由Roboflow推出的实时目标检测模型,支持多分辨率训练,具备高精度和低延迟特性,在COCO数据集上达到60+ mAP。结合Transformer架构和预训练DINOv2主干,提升领域适应性和检测效果。适用于安防、自动驾驶、工业检测等多个场景,提供预训练检查点以支持快速微调和部署。

GaussianCity

GaussianCity是由南洋理工大学S-Lab团队开发的高效3D城市生成框架,基于3D高斯绘制技术,采用紧凑的BEV-Point表示方法降低显存和存储需求。其空间感知的BEV-Point解码器可生成高质量3D城市场景,支持多样化视角和实时渲染,适用于游戏、影视、城市规划等领域。相比现有方法,其生成速度提升60倍,兼具高效与高质量特性。

GameFactory

GameFactory 是由香港大学与快手科技联合研发的AI框架,专注于解决游戏视频生成中的场景泛化问题。它基于预训练视频扩散模型,结合开放域数据与高质量游戏数据,通过多阶段训练实现动作可控的多样化场景生成。具备高精度动作控制、交互式视频生成及丰富场景支持,适用于游戏开发、自动驾驶模拟及具身智能研究等领域。

DynamicCity

DynamicCity是由上海AI Lab开发的大规模动态场景生成框架,支持高质量4D LiDAR场景的生成与重建,适用于自动驾驶、机器人导航、虚拟现实等多个领域。该框架基于VAE和DiT模型,实现高效的场景编码与生成,支持轨迹引导、指令驱动生成和动态修复等多种应用,展现出优异的性能和广泛的应用潜力。

Free Video

Free Video-LLM是一种无需训练的高效视频语言模型,基于提示引导的视觉感知技术,可直接对视频内容进行理解和推理,适用于视频问答、内容分析等多种场景。通过时空采样优化和减少视觉标记,它在保持高性能的同时显著降低了计算复杂度。

LongVILA

LongVILA是一款专为长视频理解设计的视觉语言AI模型,由多家知名研究机构共同开发。它具备强大的长上下文处理能力和多模态序列并行性,能在大量GPU上高效训练,无需梯度检查点。LongVILA通过五阶段训练流程,结合大规模数据集构建和高性能推理,显著提升了长视频字幕的准确性和处理效率。此外,它还支持多种应用场景,包括视频字幕生成、内容分析、视频问答系统等。