视频理解

1. 首页
2. 视频理解

Tarsier

字节跳动推出的一系列大规模视觉语言模型（LVLM），专注于视频理解任务，包括视频描述、问答、视频定位、幻觉测试等功能。

Ai开源项目 2025年06月05日 90 点赞 0 评论 241 浏览

BAGEL

BAGEL是字节跳动开源的多模态基础模型，拥有140亿参数，采用混合变换器专家架构（MoT），通过两个独立编码器捕捉图像的像素级和语义级特征。它能够进行图像与文本融合理解、视频内容理解、文本到图像生成、图像编辑与修改、视频帧预测、三维场景理解与操作、世界导航以及跨模态检索等任务。BAGEL在多模态理解基准测试中表现优异，生成质量接近SD3，并适用于内容创作、三维场景生成、可视化学习和创意广告生成等

AI项目与工具 2025年06月11日 92 点赞 0 评论 133 浏览

StreamBridge

StreamBridge是一款由苹果与复旦大学联合开发的端侧视频大语言模型框架，支持实时视频流的理解与交互。通过内存缓冲区和轮次衰减压缩策略，实现长上下文处理与主动响应。项目配套发布Stream-IT数据集，包含60万样本，适用于多种视频理解任务，展现出在视频交互、自动驾驶、智能监控等领域的应用前景。

AI项目与工具 2025年06月11日 41 点赞 0 评论 359 浏览

Ovis2

Ovis2是阿里巴巴国际团队开发的多模态大语言模型，采用结构化嵌入对齐技术提升视觉与文本的融合效果。支持视频、图像和多语言处理，强化了思维链推理和复杂场景下的OCR能力。提供多个参数规模的版本，适用于研究、开发及各类应用场景，展现卓越性能。

AI项目与工具 2025年06月12日 67 点赞 0 评论 172 浏览

Magma

Magma是微软研究院开发的多模态AI基础模型，具备理解与执行多模态任务的能力，覆盖数字与物理环境。它融合语言、空间与时间智能，支持从UI导航到机器人操作的复杂任务。基于大规模视觉-语言和动作数据预训练，Magma在零样本和微调设置下表现优异，适用于网页操作、机器人控制、视频理解及智能助手等多个领域。

AI项目与工具 2025年06月12日 100 点赞 0 评论 172 浏览

Long

Long-VITA是一款由腾讯优图实验室、南京大学和厦门大学联合开发的多模态AI模型，支持处理超长文本（超过100万tokens）及多模态输入（图像、视频、文本）。通过分阶段训练提升上下文理解能力，结合动态分块编码器与并行推理技术，实现高效处理长文本和高分辨率图像。模型基于开源数据训练，适用于视频分析、图像识别、长文本生成等场景，性能在多个基准测试中表现突出。

AI项目与工具 2025年06月12日 65 点赞 0 评论 488 浏览

InternVideo2.5

InternVideo2.5是一款由上海人工智能实验室联合多机构开发的视频多模态大模型，具备超长视频处理能力和细粒度时空感知。它支持目标跟踪、分割、视频问答等专业视觉任务，适用于视频检索、编辑、监控及自动驾驶等多个领域。模型通过多阶段训练和高效分布式系统实现高性能与低成本。

AI项目与工具 2025年06月12日 50 点赞 0 评论 409 浏览

VideoLLaMA3

VideoLLaMA3 是阿里巴巴开发的多模态基础模型，支持视频与图像的深度理解和分析。基于 Qwen 2.5 架构，结合先进视觉编码器与语言生成能力，具备高效时空建模与多语言处理能力。适用于视频内容分析、视觉问答、字幕生成等场景，提供多种参数版本，支持灵活部署。

AI项目与工具 2025年06月12日 87 点赞 0 评论 114 浏览

Tarsier2

Tarsier2是字节跳动研发的大规模视觉语言模型，擅长生成高精度视频描述并在多项视频理解任务中表现优异。其核心技术包括大规模数据预训练、细粒度时间对齐微调以及直接偏好优化（DPO）。该模型在视频问答、定位、幻觉检测及具身问答等任务中均取得领先成绩，支持多语言处理，具有广泛的应用潜力。

AI项目与工具 2025年06月12日 59 点赞 0 评论 132 浏览

VideoWorld

VideoWorld是由北京交通大学、中国科学技术大学与字节跳动合作开发的深度生成模型，能够通过未标注视频数据学习复杂知识，包括规则、推理和规划能力。其核心技术包括自回归视频生成、潜在动态模型（LDM）和逆动态模型（IDM），支持长期推理和跨环境泛化。该模型在围棋和机器人控制任务中表现优异，且具备向自动驾驶、智能监控等场景扩展的潜力。

AI项目与工具 2025年06月12日 66 点赞 0 评论 246 浏览