数据集

Florence

Florence-2是微软Azure AI团队研发的多功能视觉模型,支持图像描述、目标检测、视觉定位和图像分割等功能。该模型基于Transformer架构,采用序列到序列学习方法,利用自注意力机制实现多模态信息融合。通过训练大规模数据集,Florence-2在多个应用场景中表现出色,包括图像和视频分析、内容审核、辅助驾驶、医疗影像分析以及零售和库存管理。

AtomThink

AtomThink是一个由多所高校与企业联合研发的多模态数学推理框架,通过构建长链思维(CoT)引导多模态大型语言模型(MLLMs)进行复杂推理。它包含自动CoT注释引擎、原子步骤微调策略及多种搜索策略,旨在提升原子步骤质量并增强MLLMs的推理能力。AtomThink提出的大规模多模态数据集AtomMATH及其评估方法为模型训练和测试提供了重要支持,广泛应用于教育辅助、自动化测试、学术研究等领域

TIP

TIP-I2V是一个包含大量真实文本和图像提示的数据集,专为图像到视频生成领域设计。它涵盖了超过170万个独特的提示,并结合多种顶级图像到视频生成模型生成的视频内容。该数据集支持用户偏好分析、模型性能评估以及解决错误信息传播等问题,有助于推动图像到视频生成技术的安全发展。

In

In-Context LoRA是一种基于扩散变换器(DiTs)的图像生成框架,通过微调少量数据实现多样化图像生成任务。它无需修改原始模型结构,减少了对大规模标注数据的依赖,同时保持了高质量的生成效果。该工具支持多任务图像生成、上下文学习能力、任务无关性以及条件图像生成等功能,适用于故事板生成、字体设计、家居装饰等多个领域。

OmniBooth

OmniBooth是一款由华为诺亚方舟实验室与香港科技大学联合开发的图像生成框架,支持基于文本或图像的多模态指令控制及实例级定制。它通过高维潜在控制信号实现对图像中对象位置和属性的精准操控,具备多模态嵌入提取、空间变形技术以及特征对齐网络等功能,广泛应用于数据集生成、内容创作、游戏开发、虚拟现实及广告营销等领域。

HART

HART是一种由麻省理工学院研究团队开发的自回归视觉生成模型,能够生成1024×1024像素的高分辨率图像,质量媲美扩散模型。通过混合Tokenizer技术和轻量级残差扩散模块,HART实现了高效的图像生成,并在多个指标上表现出色,包括重构FID、生成FID以及计算效率。

EvolveDirector

EvolveDirector是一个由阿里巴巴与南洋理工大学合作开发的文本到图像生成框架,通过与高级模型API交互获取数据对,结合预训练的视觉语言模型(VLMs)动态优化训练集,大幅降低数据量和训练成本。该框架支持多模型学习、动态数据集管理及在线训练,显著提升了生成图像的质量和多样性,广泛应用于内容创作、媒体娱乐、广告营销、教育科研等多个领域。

MCP

MCP(Model Context Protocol)是一项由Anthropic开源的协议,专注于实现大型语言模型(LLM)与外部数据源和工具的无缝集成。其核心功能包括数据集成、工具集成、模板化交互、安全性、开发者支持及上下文维护,支持双向数据流并内置安全机制。MCP适用于AI驱动的集成开发环境、增强聊天界面、自定义AI工作流、ERP系统集成及CRM系统增强等场景。

InfiMM

InfiMM-WebMath-40B是由字节跳动与中国科学院联合推出的大规模多模态数据集,涵盖大量数学和科学内容,包括文本、公式、符号及图像。该数据集通过筛选、清洗和标注优化,可显著提升多模态模型的数学推理能力。它适用于数学题库生成、学习工具开发、论文理解及科学研究等多个应用场景。 ---

ShowUI

ShowUI是一款由新加坡国立大学Show Lab与微软合作开发的视觉-语言-行动模型,旨在提升图形用户界面(GUI)助手的工作效率。该模型通过UI引导的视觉令牌选择、交错视觉-语言-行动流以及高质量数据集的运用,实现了高效的零样本截图定位和GUI自动化功能,广泛应用于网页自动化、移动应用测试、桌面软件自动化及游戏自动化等领域。