视频分析

灰豚数据

淘宝抖音直播领域专业可视化数据分析监测云平台,为商家、播主及机构提供精准、可靠、高效的直播数据分析服务

MMBench

MMBench-Video是一个由多家高校和机构联合开发的长视频多题问答基准测试平台,旨在全面评估大型视觉语言模型(LVLMs)在视频理解方面的能力。平台包含约600个YouTube视频片段,覆盖16个类别,并配备高质量的人工标注问答对。通过自动化评估机制,MMBench-Video能够有效提升评估的精度和效率,为模型优化和学术研究提供重要支持。

Pixel Reasoner

Pixel Reasoner是由多所高校联合开发的视觉语言模型,通过像素空间推理增强对视觉信息的理解和分析能力。它支持直接对图像和视频进行操作,如放大区域或选择帧,以捕捉细节。采用两阶段训练方法,结合指令调优和好奇心驱动的强化学习,提升视觉推理性能。在多个基准测试中表现优异,适用于视觉问答、视频理解等任务,广泛应用于科研、教育、工业质检和内容创作等领域。

ViLAMP

ViLAMP是由蚂蚁集团与中国人民大学联合开发的视觉语言模型,专为高效处理长视频设计。采用混合精度策略,支持在单张A100 GPU上处理长达3小时的视频,提升处理效率并降低计算成本。具备长视频理解、关键信息提取、多任务处理等功能,适用于教育、监控、直播、影视制作及智能客服等场景。技术上通过差分关键帧选择与特征合并优化性能,实现精准且高效的视频分析。

KuaiMod

KuaiMod 是快手开发的多模态大模型内容审核系统,能高效识别和过滤有害及低质量视频。它结合视觉语言模型(VLM)和链式推理(CoT)技术,支持动态策略更新和强化学习,提升审核准确性。系统在离线测试中准确率达92.4%,有效降低用户举报率,优化推荐体验,助力平台内容生态健康发展。

Opus Clip

Opus Clip是一款由Opus公司开发的AI视频剪辑工具,它能够自动从长视频中提取亮点片段,并生成短视频。该工具利用AI技术分析视频内容,识别重要时刻。Opus Clip简化了视频编辑流程,使得即使是非专业用户也能够快速制作出适合社交媒体分享的短视频。此外,它还提供了手动选择和编辑片段的功能,以及基本的视频编辑工具。

VideoRefer

VideoRefer是由浙江大学与阿里达摩院联合开发的视频对象感知与推理系统,基于增强型视频大型语言模型,实现对视频中对象的细粒度理解与分析。其核心包括大规模视频数据集、多功能空间-时间编码器和全面评估基准,支持对象识别、关系分析、推理预测及多模态交互等功能,适用于视频剪辑、教育、安防、机器人控制和电商等多个领域。

StreamBridge

StreamBridge是一款由苹果与复旦大学联合开发的端侧视频大语言模型框架,支持实时视频流的理解与交互。通过内存缓冲区和轮次衰减压缩策略,实现长上下文处理与主动响应。项目配套发布Stream-IT数据集,包含60万样本,适用于多种视频理解任务,展现出在视频交互、自动驾驶、智能监控等领域的应用前景。

OmAgent

OmAgent是由Om AI与浙江大学滨江研究院联合开发的多模态语言代理框架,支持文本、图像、视频等多种输入形式,简化设备端智能代理的开发流程。它具备高效模型集成、灵活算法接口和复杂任务处理能力,适用于视频监控、内容推荐、教育辅助等场景,提升设备智能化水平和用户体验。

Trace.moe

一个开源动漫场景搜索引擎,根据图像反向搜索动漫场景,帮助用户通过截图追溯原始动漫,完全免费无广告。