视频理解
  1. 首页
  2. 视频理解

列表

VideoRAG

VideoRAG

VideoRAG是一种基于检索增强生成（RAG）技术的工具，旨在提升长视频的理解能力。它通过提取视频中的多模态信息（如OCR、ASR和对象检测），并将其与视频帧和用户查询结合，增强大型视频语言模型的处理效果。该技术轻量高效，易于集成，适用于视频问答、内容分析、教育、媒体创作及企业知识管理等多个领域。
AI项目与工具 2025年06月12日
VideoRefer

VideoRefer

VideoRefer是由浙江大学与阿里达摩院联合开发的视频对象感知与推理系统，基于增强型视频大型语言模型，实现对视频中对象的细粒度理解与分析。其核心包括大规模视频数据集、多功能空间-时间编码器和全面评估基准，支持对象识别、关系分析、推理预测及多模态交互等功能，适用于视频剪辑、教育、安防、机器人控制和电商等多个领域。
AI项目与工具 2025年06月12日
VideoPhy

VideoPhy

VideoPhy是一款由UCLA和谷歌研究院联合开发的基准测试工具，旨在评估视频生成模型的物理常识能力。它包含688条描述性字幕，通过人类和自动评估方式，衡量生成视频是否符合物理规则。VideoPhy不仅揭示了现有模型的不足，还推出了自动评估工具VideoCon-Physics，以推动模型性能的提升。其应用场景广泛，包括视频生成模型开发、计算机视觉研究、教育与培训以及娱乐产业等。
AI项目与工具 2025年06月12日
Valley

Valley

Valley是一款由字节跳动开发的多模态大语言模型，擅长处理文本、图像和视频数据，广泛应用于内容分析、图像和视频描述、电子商务及短视频平台等领域。其Eagle版本通过引入VisionEncoder增强了模型性能，支持灵活调整令牌数量，实现了更高效的多模态数据处理。Valley在多项基准测试中表现出色，尤其在参数规模较小的情况下依然保持优异的成绩。
AI项目与工具 2025年06月12日
VSI

VSI

VSI-Bench是一种用于评估多模态大型语言模型（MLLMs）视觉空间智能的基准测试工具，包含超过5000个问题-答案对，覆盖多种真实室内场景视频。其任务类型包括配置型任务、测量估计和时空任务，可全面评估模型的空间认知、理解和记忆能力，并提供标准化的测试集用于模型性能对比。 ---
AI项目与工具 2025年06月12日
Apollo

Apollo

Apollo是一个由Meta和斯坦福大学合作研发的大型多模态模型，专注于视频内容的理解。其核心特性包括“Scaling Consistency”现象的应用、高效的视频理解评估基准ApolloBench、以及在处理长视频方面的卓越性能。Apollo模型家族涵盖多种规模，广泛应用于视频内容分析、搜索推荐、智能监控、自动驾驶及教育等领域。
AI项目与工具 2025年06月12日
LongLLaVA

LongLLaVA

LongLLaVA是由香港中文大学（深圳）研究团队开发的多模态大型语言模型，结合Mamba和Transformer模块，利用2D池化技术压缩图像token，大幅提升处理大规模图像数据的效率。该模型在视频理解、高分辨率图像分析及多模态代理任务中表现优异，特别擅长检索、计数和排序任务。其技术亮点包括渐进式训练策略和混合架构优化，支持多种多模态输入处理，广泛应用于视频分析、医学影像诊断、环境监测等领域。
AI项目与工具 2025年06月12日
Free Video

Free Video

Free Video-LLM是一种无需训练的高效视频语言模型，基于提示引导的视觉感知技术，可直接对视频内容进行理解和推理，适用于视频问答、内容分析等多种场景。通过时空采样优化和减少视觉标记，它在保持高性能的同时显著降低了计算复杂度。
AI项目与工具 2025年06月12日
HourVideo

HourVideo

HourVideo是一项由斯坦福大学研发的长视频理解基准数据集，包含500个第一人称视角视频，涵盖77种日常活动，支持多模态模型的评估。数据集通过总结、感知、视觉推理和导航等任务，测试模型对长时间视频内容的信息识别与综合能力，推动长视频理解技术的发展。其高质量的问题生成流程和多阶段优化机制，使其成为学术研究的重要工具。
AI项目与工具 2025年06月12日
CogSound

CogSound

CogSound是一款基于AI的音效生成工具，能够为无声视频添加与内容匹配的高质量音效，涵盖多种复杂场景。该工具通过先进的音视频特征匹配技术和优化的生成算法，提升了视频的沉浸感和真实感，广泛应用于视频创作、广告制作及影视后期等多个领域。
AI项目与工具 2025年06月12日