数据集

See3D

See3D是一款基于视觉条件技术的3D生成模型,能够通过大规模无标注的互联网视频学习3D先验知识,实现从文本、单视图或稀疏视图到3D内容的高效转化。其核心功能包括3D编辑、高斯渲染及基于稀疏图片的3D重建,支持在物体级与场景级复杂相机轨迹下生成长序列视图。此外,See3D还适用于游戏开发、建筑设计、电商展示、AR/VR等多个领域的创新应用。

3D

3D-Speaker是一个多模态开源项目,专注于通过结合声学、语义和视觉信息,实现高精度的说话人识别和语种识别。其主要功能包括说话人日志、说话人识别、语种识别、多模态识别以及重叠说话人检测。项目提供了工业级模型、训练与推理代码,以及多样化数据集,并支持复杂环境下的语音处理任务。应用场景涵盖会议记录、法庭记录、广播制作、电话客服和安全监控等领域。

V-JEPA

创新的自监督学习模型,它通过预测视频帧的特征表示来学习视频的视觉表示。这种方法不仅能够处理视频内容,还能在图像任务上表现出色,具有广泛的应用潜力。

PandaAI

PandaAI 是一款基于自然语言处理技术的智能数据分析平台,支持用户通过自然语言提问实现快速数据处理与可视化。它具备多数据源集成、智能图表生成、团队协作等功能,适用于商业分析、数据科学及数据管理等场景。平台提供免费与付费版本,满足不同用户需求,结合 LLM 与 RAG 技术提升数据分析效率。

LongVILA

LongVILA是一款专为长视频理解设计的视觉语言AI模型,由多家知名研究机构共同开发。它具备强大的长上下文处理能力和多模态序列并行性,能在大量GPU上高效训练,无需梯度检查点。LongVILA通过五阶段训练流程,结合大规模数据集构建和高性能推理,显著提升了长视频字幕的准确性和处理效率。此外,它还支持多种应用场景,包括视频字幕生成、内容分析、视频问答系统等。

xGen

xGen-MM是一款由Salesforce开发的开源多模态AI模型,具备处理文本和图像等数据类型的能力。该模型通过学习大量图像和文字信息,在视觉语言任务中表现出色,并通过开源模型、数据集和微调代码库促进模型性能的提升。xGen-MM具有多模态理解、大规模数据学习、高性能生成、开源可访问和微调能力等特点。其应用场景广泛,包括图像描述生成、视觉问答、文档理解、内容创作和信息检索等。

CAD

CAD-MLLM 是一款基于多模态输入生成参数化 CAD 模型的系统,融合了文本、图像和点云等多种数据形式。它通过命令序列与大型语言模型的结合,实现了高效的数据对齐与处理,并提出了创新的评估指标。CAD-MLLM 具备强大的鲁棒性和交互式设计能力,适用于工业设计、建筑设计、汽车制造等多个领域。

GameGen

GameGen-O 是一款基于 Transformer 架构的AI工具,专注于开放世界游戏视频的生成。它具备角色生成、环境构建、动作模拟及交互式控制等功能,通过两阶段训练方法提升了生成质量和灵活性,可应用于游戏原型设计、场景生成及开发辅助等领域,有助于降低开发成本并提高创作效率。

Chinese

Chinese-LiPS是由智源研究院与南开大学联合开发的高质量中文多模态语音识别数据集,包含100小时语音、视频及手动转录文本。其创新性融合唇读视频与幻灯片内容,显著提升语音识别性能,实验表明可降低字符错误率约35%。适用于教学、科普、虚拟讲解等复杂语境,为多模态语音识别研究提供丰富数据支持。

AGUVIS

AGUVIS是一款由香港大学与Salesforce联合开发的纯视觉框架,专为自主GUI智能体设计。它支持跨平台操作,通过图像观察与自然语言指令的关联,以及显式规划和推理能力,提高了代理在复杂数字环境中的交互效率。AGUVIS采用大规模数据集及两阶段训练方法,实现了在离线与在线场景中的高效性能,成为首个不依赖外部闭源模型即可独立完成任务的纯视觉GUI代理。