架构

1. 首页
2. 架构

Transfusion

Transfusion是由Meta公司开发的多模态AI模型，能够同时生成文本和图像，并支持图像编辑功能。该模型通过结合语言模型的下一个token预测和扩散模型，在单一变换器架构上处理混合模态数据。Transfusion在预训练阶段利用了大量的文本和图像数据，表现出强大的扩展性和优异的性能。其主要功能包括多模态生成、混合模态序列训练、高效的注意力机制、模态特定编码、图像压缩、高质量图像生成、文本生成

AI项目与工具 2025年06月12日 26 点赞 0 评论 215 浏览

CogVideoX

CogVideoX是由智谱AI开发的开源AI视频生成模型，支持英文提示词生成6秒长、每秒8帧、分辨率为720x480的视频。它具备低显存需求、视频参数定制、3D Causal VAE技术和推理与微调功能。该模型采用基于Transformer的架构和3D Causal Variational Autoencoder技术，支持多阶段训练和自动及人工评估，适用于创意视频制作、教育材料、广告、游戏、电影编

AI项目与工具 2025年06月12日 55 点赞 0 评论 113 浏览

Veo

Veo是Google DeepMind开发的一款视频生成模型，用户可以通过文本、图像或视频提示来指导其生成所需的视频内容。Veo具备深入的自然语言理解能力，能够准确解析用户的文本提示，生成高质量、高分辨率的视频。其主要功能包括高分辨率视频输出、自然语言处理、风格适应性、创意控制与定制、遮罩编辑功能、参考图像与风格应用、视频片段的剪辑与扩展以及视觉连贯性。Veo技术目前仍处于实验阶段，但已在电影制作

AI项目与工具 2024年01月01日 34 点赞 0 评论 242 浏览

Jamba

Jamba是由AI21 Labs开发的基于Mamba架构的生产级别大语言模型，结合了结构化状态空间模型（SSM）和传统Transformer架构，具备高吞吐量和低内存占用的特点。Jamba拥有256K的上下文窗口，适用于处理长文本序列，并且以开放权重的形式发布，遵循Apache 2.0开源许可。该模型主要用于研究领域，未来将推出更安全的版本。

AI项目与工具 2024年01月01日 29 点赞 0 评论 147 浏览

VoiceCraft

VoiceCraft是一款开源的神经编解码器语言模型，专攻零样本语音编辑和文本到语音（TTS）任务。它采用Transformer架构，通过token重排过程结合因果掩蔽和延迟叠加技术，实现在现有音频序列内高效生成自然的语音。VoiceCraft在多种口音、风格和噪声条件下表现出色，适用于有声读物制作、视频内容创作、播客音频编辑及多语言内容生产等场景。

AI项目与工具 2024年01月01日 31 点赞 0 评论 348 浏览

BrushNet

BrushNet是一款基于扩散模型的图像修复工具，采用双分支架构处理遮罩区域。它能够实现像素级修复，保持修复区域与原始图像的一致性和高质量。BrushNet适用于多种场景和风格的图像，包括人类、动物、室内和室外场景，以及自然图像、铅笔画、动漫、插画和水彩画等。通过与预训练扩散模型结合，BrushNet提供灵活的修复控制，同时保留未遮罩区域的细节。

AI项目与工具 2024年01月01日 55 点赞 0 评论 261 浏览

StreamMultiDiffusion

StreamMultiDiffusion是一款开源的实时交互式图像生成框架，结合了扩散模型的高质量图像合成能力和区域控制的灵活性。用户可以实时生成和编辑图像，通过文本提示和手绘区域生成特定部分的图像，提供高质量的图像输出。其主要功能包括实时图像生成、指定区域文本到图像生成、直观的用户界面、多提示流批处理架构、快速推理技术、区域控制、稳定化技术和Semantic Palette交互式图像生成。

AI项目与工具 2024年01月01日 95 点赞 0 评论 460 浏览

Open

Open-Sora是一个开源视频生成模型，基于DiT架构，通过三个阶段的训练（大规模图像预训练、大规模视频预训练和高质量视频数据微调），生成与文本描述相符的视频内容。该模型包括预训练的VAE、文本编码器和STDiT（Spatial-Temporal Diffusion Transformer）核心组件，利用空间-时间注意力机制和交叉注意力模块实现视频生成。项目旨在提供全面的视频生成模型训练过程，供

AI项目与工具 2024年01月01日 97 点赞 0 评论 212 浏览

Grok

Grok-1是由xAI公司开发的大型语言模型，具备3140亿参数，是目前参数量最大的开源大语言模型之一。该模型基于Transformer架构，专用于自然语言处理任务，如问答、信息检索、创意写作和编码辅助等。尽管在信息处理方面表现出色，但需要人工审核以确保准确性。此外，Grok-1还提供了8bit量化版本，以降低存储和计算需求。

AI项目与工具 2024年01月01日 10 点赞 0 评论 298 浏览

PixArt

PixArt-Σ是一款基于扩散Transformer架构（DiT）的文本生成图像模型，专为生成高达4K分辨率的高质量图像而设计。该模型通过整合高级元素并采用从弱到强的训练方法，不仅提升了生成图像的保真度，还增强了图像与文本提示之间的对齐效果。PixArt-Σ的生成图像在美学质量上可媲美当前顶级的文本到图像产品，并且在遵循文本提示方面表现出色。主要功能包括4K分辨率图像生成、高保真转换、高效率训练和

AI项目与工具 2024年01月01日 82 点赞 0 评论 505 浏览