TimeSuite - 上海AI Lab推出的提升MLLMs在长视频理解处理的设计框架

TimeSuite是由上海AI Lab开发的一种创新框架，旨在提升多模态大型语言模型（MLLMs）在长视频理解任务中的表现。该框架通过引入高效的长视频处理机制、高质量的视频数据集TimePro以及名为Temporal Grounded Caption的指令调谐任务，明确地将时间定位监督融入传统的问答格式中。TimeSuite增强了模型对视频内容时间维度的理解能力，减少了生成结果中的幻觉现象，并在长视频问答及时间定位任务中实现了显著的性能提升。借助视频令牌压缩和时间自适应位置编码等技术手段，TimeSuite使MLLMs能够更精准地捕捉和解析视频中的事件，充分释放其在长视频理解领域的潜力。