架构

DINO

DINO-X是一款由IDEA研究院开发的通用视觉大模型,具备开放世界对象检测与理解的能力。它支持多种提示类型,无需用户额外输入即可识别图像中的任意对象,并在多个基准测试中刷新了性能记录。DINO-X拥有Pro和Edge两个版本,分别针对高性能需求和边缘设备优化。其应用范围涵盖自动驾驶、智能安防、工业检测及机器人视觉等领域,助力行业创新与发展。

OmniEdit

OmniEdit是一款基于多专家模型监督训练的先进图像编辑工具,支持七种核心图像编辑任务,包括对象替换、移除、添加、属性修改、背景替换、环境变化和风格转换。它能够处理不同宽高比和分辨率的图像,采用EditNet架构,提升了编辑的成功率和图像保真度。OmniEdit在自动与人工评估中表现优异,适用于专业设计、社交媒体内容创作、电子商务、新闻媒体等多个领域。

XiYan

XiYan-SQL是一款由阿里巴巴开发的自然语言到SQL转换框架,利用多生成器集成策略、提示工程和监督微调技术生成高质量SQL查询。它支持多种数据库类型,具备强大的数据库结构解析能力和错误纠正功能,适用于数据查询简化、数据分析、智能助手及教育等多个领域。

Florence

Florence-2是微软Azure AI团队研发的多功能视觉模型,支持图像描述、目标检测、视觉定位和图像分割等功能。该模型基于Transformer架构,采用序列到序列学习方法,利用自注意力机制实现多模态信息融合。通过训练大规模数据集,Florence-2在多个应用场景中表现出色,包括图像和视频分析、内容审核、辅助驾驶、医疗影像分析以及零售和库存管理。

OmniVision

OmniVision是一款面向边缘设备的紧凑型多模态AI模型,参数量为968M。它基于LLaVA架构优化,能够处理视觉与文本输入,显著降低计算延迟和成本。OmniVision支持视觉问答、图像描述等功能,广泛应用于内容审核、智能助手、视觉搜索等领域。

Infinity

Infinity-MM是智源研究院发布的千万级多模态指令数据集,包含4300万条样本,涵盖视觉问答、文字识别、文档分析及数学推理等多领域任务。它通过严格的筛选和去重保证数据质量,并采用合成数据生成技术扩展数据集规模。基于此数据集,智源研究院训练出了20亿参数的Aquila-VL-2B模型,在多项基准测试中表现出色,推动了多模态AI领域的研究与发展。

OpenCoder

OpenCoder是一个开源代码大型语言模型(LLM),具备代码生成、审查、补全、错误调试等功能,支持多种编程语言,通过预训练、指令微调及优化策略提升性能,推动代码AI研究的透明化与可重复性,广泛应用于开发效率提升、代码质量保障及编程教育等领域。

CogVideoX v1.5

CogVideoX v1.5是一款由智谱研发的开源AI视频生成工具,具备文本到视频生成、图像到视频转换等功能,支持高清视频输出及音效匹配。它通过三维变分自编码器(3D VAE)、Transformer架构等技术手段,提升了视频生成的质量与效率,适用于内容创作、广告营销、教育培训等多个领域。

CogSound

CogSound是一款基于AI的音效生成工具,能够为无声视频添加与内容匹配的高质量音效,涵盖多种复杂场景。该工具通过先进的音视频特征匹配技术和优化的生成算法,提升了视频的沉浸感和真实感,广泛应用于视频创作、广告制作及影视后期等多个领域。

Ichigo

Ichigo是一款开源的多模态AI语音助手,采用混合模态模型,支持实时处理语音和文本交织序列。它通过统一的Transformer架构实现跨模态联合推理,提供低延迟的实时性能,并支持多语言、多轮对话及模糊输入处理。Ichigo适用于智能家居、个人助理、客户服务、教育和健康咨询等多种应用场景,展现了高效、灵活的技术优势。