LongVU

LongVU是由Meta AI团队开发的一款专注于长视频理解的工具，基于时空自适应压缩机制设计，旨在解决传统方法中大型语言模型（LLM）在处理长视频时受上下文长度限制的问题。该工具通过引入跨模态查询与帧间依赖性分析，能够显著减少视频标记数量，同时保留关键的视觉细节。具体而言，LongVU采用DINOv2特征去除冗余帧，并借助文本引导的跨模态查询实现帧特征的选择性降低；在必要时，它还基于时间依赖性进行空间标记压缩，从而在有限上下文中高效处理海量视频数据。