Voyage Multimodal
Voyage Multimodal-3 是一款多模态嵌入模型,能够处理文本、图像以及它们的混合数据,无需复杂文档解析即可提取关键视觉特征。它在多模态检索任务中的准确率显著高于现有最佳模型,支持语义搜索和文档理解,适用于法律、金融、医疗等多个领域的复杂文档检索任务。
Generative Omnimatte
Generative Omnimatte 是一种基于 AI 的视频编辑技术,通过其核心模型 Casper 实现视频的多层次分解与编辑。它能够自动分离物体与背景,并支持动态背景处理及多对象场景的精细编辑。主要功能包括视频分层、对象移除、背景替换、Trimask 控制等,广泛应用于电影制作、广告设计、游戏开发及虚拟现实领域。
StreamBridge
StreamBridge是一款由苹果与复旦大学联合开发的端侧视频大语言模型框架,支持实时视频流的理解与交互。通过内存缓冲区和轮次衰减压缩策略,实现长上下文处理与主动响应。项目配套发布Stream-IT数据集,包含60万样本,适用于多种视频理解任务,展现出在视频交互、自动驾驶、智能监控等领域的应用前景。
