HourVideo

HourVideo是由斯坦福大学李飞飞和吴佳俊团队发布的一项长视频理解基准数据集，包含500个时长20至120分钟的第一人称视角视频，涵盖77种日常活动。该数据集旨在评估多模态模型对长时间视频内容的理解能力，并通过多种任务，如总结、感知、视觉推理和导航，测试模型对视频中多个时间片段信息的识别与整合能力。HourVideo的设计不仅推动了长视频理解技术的进步，还为学术界提供了重要的研究资源。 HourVideo的核心功能在于提供一个标准化的测试平台，用于评估多模态模型在长时间视频理解任务中的表现。它包含12,976道由人工注释者和大型语言模型生成的多项选择题，确保了测试的准确性和可靠性。此外，数据集还支持与其他多模态模型的性能对比，为研究人员提供了直观的参考。 技术上，HourVideo的数据集构建始于Ego4D数据集的筛选，经过多阶段的优化流程，包括视频筛选、问题生成、人工反馈优化、盲筛选和专家优化，最终生成高质量的问题。任务套件的设计强调模型对视频内容的长期依赖关系理解和推理能力。 HourVideo的应用领域广泛，包括多模态人工智能研究、自主代理和助手系统的开发、增强现实（AR）与虚拟现实（VR）技术的基础建设、视频内容分析以及机器人视觉等领域。