数据集

Index

Index-AniSora是由哔哩哔哩开发的动漫视频生成模型,支持多种动画风格的生成,涵盖番剧、国创、VTuber等内容。其核心技术包括扩散模型、时空掩码模块和Transformer架构,具备图像到视频生成、帧插值、局部引导等能力。模型提供高质量数据集,适用于动画制作、创意验证、教育及营销等多个领域。

Genie

Genie是一款由Cosine AI开发的AI编程助手,能够自动解析问题、迭代分析、编写和运行代码。它在SWE-Bench基准测试中表现出色,解决率高达30.07%。Genie利用大量真实编程数据进行训练,并具备自我改进机制。该工具广泛应用于软件开发的多个阶段,包括需求分析、设计、编码、测试和维护,尤其擅长代码生成、缺陷修复、代码审查和系统重构。

Open Materials 2024

Open Materials 2024 (OMat24) 是Meta发布的开源数据集,包含超过1.1亿个无机材料的密度泛函理论(DFT)计算数据,并配备了预训练的图神经网络模型EquiformerV2。该模型在材料的基态稳定性及形成能预测方面具有卓越表现,为新材料的发现和设计提供了高效工具。其核心功能包括大规模数据集支持、高效的材料属性预测以及在多个领域(如能源、环境、催化等)的实际应用潜力。

OmniCam

OmniCam 是一种基于多模态输入的高级视频生成框架,结合大型语言模型与视频扩散模型,实现高质量、时空一致的视频内容生成。支持文本、视频或图像作为输入,精确控制摄像机运动轨迹,具备帧级操作、复合运动、速度调节等功能。采用三阶段训练策略提升生成效果,并引入 OmniTr 数据集增强模型性能。适用于影视、广告、教育及安防等多个领域,提高视频创作效率与质量。

StreamBridge

StreamBridge是一款由苹果与复旦大学联合开发的端侧视频大语言模型框架,支持实时视频流的理解与交互。通过内存缓冲区和轮次衰减压缩策略,实现长上下文处理与主动响应。项目配套发布Stream-IT数据集,包含60万样本,适用于多种视频理解任务,展现出在视频交互、自动驾驶、智能监控等领域的应用前景。

Rodin

Rodin是一款由影眸科技开发的AI驱动3D生成工具,专注于快速生成高质量的3D模型。它支持文本提示和图片输入生成3D资产,具备多视图融合、模型调整及材质生成等功能,适用于游戏开发、角色建模、虚拟现实等多种场景,同时兼顾生成效率与细节表现,但需进一步优化精度与数据集适应性。

Context Autopilot

Context Autopilot是一款基于AI的工作流自动化工具,能够与多种数据源和服务无缝集成,提供深度分析和新颖见解。其主要功能涵盖数据集成、演示文稿生成、文档编辑、电子表格处理及代码编写与优化。该工具适用于项目管理、客户关系管理、数据分析与报告等多个场景,助力企业提升效率和决策质量。

FakeShield

FakeShield是一款由北京大学研发的多模态大型语言模型框架,主要用于检测和定位图像篡改。它通过结合视觉与文本信息,生成篡改区域掩码并提供详细的判断依据。其核心模块包括领域标签引导的检测模块和多模态定位模块,支持多种篡改技术的分析,具有较高的准确性与可解释性。FakeShield广泛应用于社交媒体内容审核、法律取证、新闻媒体真实性验证以及版权保护等领域。

HourVideo

HourVideo是一项由斯坦福大学研发的长视频理解基准数据集,包含500个第一人称视角视频,涵盖77种日常活动,支持多模态模型的评估。数据集通过总结、感知、视觉推理和导航等任务,测试模型对长时间视频内容的信息识别与综合能力,推动长视频理解技术的发展。其高质量的问题生成流程和多阶段优化机制,使其成为学术研究的重要工具。

Motion Anything

Motion Anything 是一款由多所高校与企业联合研发的多模态运动生成框架,可基于文本、音乐或两者结合生成高质量人类运动。其核心在于基于注意力的掩码建模和跨模态对齐技术,实现对运动序列的精细控制与动态优先级调整。该工具支持影视动画、VR/AR、游戏开发、人机交互及教育等多个应用场景,并配套提供 Text-Music-Dance (TMD) 数据集,推动多模态运动生成技术的发展。