数据集

Animagine XL 3.1

一个开源的文本生成图像动漫模型,通过整合新的数据集,Animagine XL 3.1扩展了对广泛动漫作品和风格的理解,从经典作品到最新发布的动漫,覆盖了从古老到现代的各种艺术风格。

FakeShield

FakeShield是一款由北京大学研发的多模态大型语言模型框架,主要用于检测和定位图像篡改。它通过结合视觉与文本信息,生成篡改区域掩码并提供详细的判断依据。其核心模块包括领域标签引导的检测模块和多模态定位模块,支持多种篡改技术的分析,具有较高的准确性与可解释性。FakeShield广泛应用于社交媒体内容审核、法律取证、新闻媒体真实性验证以及版权保护等领域。

Emotion

Emotion-LLaMA是一款基于多模态输入的情绪识别与推理模型,结合音频、视觉和文本信息,提升情感理解的准确性与可解释性。模型采用改进版LLaMA架构,通过指令调整增强情感处理能力,并依托自建的MERR数据集进行训练与验证。在多个挑战赛中表现优异,适用于人机交互、教育、心理健康、客户服务等领域,具有广泛的应用前景。

Open Materials 2024

Open Materials 2024 (OMat24) 是Meta发布的开源数据集,包含超过1.1亿个无机材料的密度泛函理论(DFT)计算数据,并配备了预训练的图神经网络模型EquiformerV2。该模型在材料的基态稳定性及形成能预测方面具有卓越表现,为新材料的发现和设计提供了高效工具。其核心功能包括大规模数据集支持、高效的材料属性预测以及在多个领域(如能源、环境、催化等)的实际应用潜力。

Freestyler

Freestyler是一款由多机构合作开发的AI工具,专注于说唱音乐的自动化生成。它通过结合语言模型、条件流匹配技术和神经声码器,实现了从歌词和伴奏到高质量说唱音频的全流程转化。Freestyler还推出了RapBank数据集,并支持零样本音色控制,广泛应用于音乐创作、现场表演、游戏音效及教育等领域。

GTSinger

GTSinger是一项由浙江大学研发的开源高质量歌声数据集,包含80.59小时的多语言专业录音棚歌声数据,支持歌声合成、技巧识别、风格迁移和语音到歌声转换等多种任务。它通过音素级标注和真实乐谱支持,为歌唱技巧的研究和应用提供了强大工具。

StreamBridge

StreamBridge是一款由苹果与复旦大学联合开发的端侧视频大语言模型框架,支持实时视频流的理解与交互。通过内存缓冲区和轮次衰减压缩策略,实现长上下文处理与主动响应。项目配套发布Stream-IT数据集,包含60万样本,适用于多种视频理解任务,展现出在视频交互、自动驾驶、智能监控等领域的应用前景。

Context Autopilot

Context Autopilot是一款基于AI的工作流自动化工具,能够与多种数据源和服务无缝集成,提供深度分析和新颖见解。其主要功能涵盖数据集成、演示文稿生成、文档编辑、电子表格处理及代码编写与优化。该工具适用于项目管理、客户关系管理、数据分析与报告等多个场景,助力企业提升效率和决策质量。

AVD2

AVD2是由多所高校联合开发的自动驾驶事故视频理解框架,通过生成高质量事故视频并结合自然语言描述与推理,提升对复杂事故场景的理解能力。其功能涵盖事故视频生成、原因分析、预防建议及数据集增强,支持自动驾驶系统的安全优化与研究。基于先进模型如Open-Sora 1.2和ADAPT,AVD2在多项评估中表现优异,为自动驾驶安全提供了重要技术支撑。

HourVideo

HourVideo是一项由斯坦福大学研发的长视频理解基准数据集,包含500个第一人称视角视频,涵盖77种日常活动,支持多模态模型的评估。数据集通过总结、感知、视觉推理和导航等任务,测试模型对长时间视频内容的信息识别与综合能力,推动长视频理解技术的发展。其高质量的问题生成流程和多阶段优化机制,使其成为学术研究的重要工具。