架构

CogView4

CogView4是一款由智谱推出的开源文生图模型,具有60亿参数,支持中英文输入与高分辨率图像生成。在DPG-Bench基准测试中表现优异,达到当前开源模型的领先水平。模型具备强大的语义理解能力,尤其在中文文字生成方面表现突出,适用于广告设计、教育、儿童绘本及电商等领域。其技术架构融合扩散模型与Transformer,并采用显存优化技术提升推理效率。

UIGEN

一个基于 Qwen2.5-Coder-7B 模型微调的开源 UI 设计生成工具,能够根据用户输入的提示生成结构清晰且符合标准的 HTML 和 CSS 代码

Lumina

Lumina-Image 2.0 是一款开源图像生成模型,基于扩散模型与 Transformer 架构,具有 26 亿参数。它能根据文本描述生成高质量、多风格的图像,支持中英文提示词,并具备强大的复杂提示理解能力。模型支持多种推理求解器,适用于艺术创作、摄影风格图像生成及逻辑推理场景,兼具高效性和灵活性。

Talker

Talker-Reasoner是一种结合了直觉与逻辑推理能力的双模块AI代理架构,由谷歌DeepMind研发。它通过Talker模块快速生成自然语言回应,以及Reasoner模块执行复杂的逻辑推理和规划,实现了高效的任务处理和自然的人机交互。该架构支持多步推理、信念状态管理及上下文感知,适用于客户服务、健康管理、教育辅导等多个领域。

OmniEdit

OmniEdit是一款基于多专家模型监督训练的先进图像编辑工具,支持七种核心图像编辑任务,包括对象替换、移除、添加、属性修改、背景替换、环境变化和风格转换。它能够处理不同宽高比和分辨率的图像,采用EditNet架构,提升了编辑的成功率和图像保真度。OmniEdit在自动与人工评估中表现优异,适用于专业设计、社交媒体内容创作、电子商务、新闻媒体等多个领域。

DAM

DAM-3B是英伟达开发的多模态大语言模型,专用于图像和视频中特定区域的详细描述。支持点、边界框、涂鸦或掩码等方式指定目标区域,生成精准文本描述。其核心技术包括焦点提示与局部视觉骨干网络,有效融合全局与局部特征。DAM-3B-Video版本扩展至视频处理,适用于动态场景。模型基于Transformer架构,支持多模态输入,广泛应用于内容创作、智能交互及无障碍工具等领域。

Cognita

Cognita是一个开源的模块化RAG框架,用于构建高效的问答系统和知识管理系统。它支持本地和生产环境部署,具备API驱动的架构、无代码UI、增量索引和多文档检索功能,适用于企业知识管理、客户支持、内容推荐等场景。开发人员可通过其模块化设计灵活扩展系统,非技术用户也可通过图形界面进行操作。

DiffuEraser

DiffuEraser是一款基于稳定扩散模型的视频修复工具,具备未知像素生成、已知像素传播、时间一致性维护等功能。通过集成运动模块和优化网络架构,它能有效提升视频修复质量,减少噪声和幻觉。适用于影视后期制作、老电影修复、监控视频增强等多个领域,支持高精度和高连贯性的视频内容修复与增强。

Veo 2

Veo 2 是一款由 Google DeepMind 开发的 AI 视频生成工具,支持高达 4K 分辨率,可生成高质量视频并模拟物理现象及人类表情。它具备修复、外扩、插值等功能,广泛应用于电影制作、虚拟旅游、教育视频等领域,具有高精度和安全性。

StreamMultiDiffusion

StreamMultiDiffusion是一款开源的实时交互式图像生成框架,结合了扩散模型的高质量图像合成能力和区域控制的灵活性。用户可以实时生成和编辑图像,通过文本提示和手绘区域生成特定部分的图像,提供高质量的图像输出。其主要功能包括实时图像生成、指定区域文本到图像生成、直观的用户界面、多提示流批处理架构、快速推理技术、区域控制、稳定化技术和Semantic Palette交互式图像生成。