扩散模型

1. 首页
2. 扩散模型

VLOGGER

VLOGGER AI是一款由谷歌研究团队开发的多模态扩散模型，主要用于从单一输入图像和音频样本生成逼真的、连贯的人像动态视频。该工具能够根据音频控制人物动作，包括面部表情、唇部动作、头部运动、眼神、眨眼及上身和手部动作，实现音频驱动的视频合成。VLOGGER生成的视频具有高度的真实性和多样性，能够展示原始主体的不同动作和表情。此外，VLOGGER还可以用于编辑现有视频和跨语言视频内容适配。

AI项目与工具 2024年01月01日 12 点赞 0 评论 386 浏览

Pix2Gif

Pix2Gif是一个由微软研究院开发的基于运动引导的扩散模型，能够将静态图像转换成动态的GIF动画或视频。该模型通过运动引导的扩散过程实现图像到GIF的生成，并利用文本描述和运动幅度作为输入。Pix2Gif还引入了感知损失机制，确保生成的GIF帧在视觉上与原始图像保持一致性和连贯性。

AI项目与工具 2024年01月01日 30 点赞 0 评论 404 浏览

ELLA

ELLA（Efficient Large Language Model Adapter）是一种由腾讯研究人员开发的方法，旨在提升文本到图像生成模型的语义对齐能力。它通过引入时序感知语义连接器（TSC），动态提取预训练大型语言模型（LLM）中的时序依赖条件，从而提高模型对复杂文本提示的理解能力。ELLA无需重新训练，可以直接应用于预训练的LLM和U-Net模型，且能与现有模型和工具无缝集成，显著提升

AI项目与工具 2024年01月01日 74 点赞 0 评论 180 浏览

PixArt

PixArt-Σ是一款基于扩散Transformer架构（DiT）的文本生成图像模型，专为生成高达4K分辨率的高质量图像而设计。该模型通过整合高级元素并采用从弱到强的训练方法，不仅提升了生成图像的保真度，还增强了图像与文本提示之间的对齐效果。PixArt-Σ的生成图像在美学质量上可媲美当前顶级的文本到图像产品，并且在遵循文本提示方面表现出色。主要功能包括4K分辨率图像生成、高保真转换、高效率训练和

AI项目与工具 2024年01月01日 82 点赞 0 评论 505 浏览

ResAdapter

ResAdapter是一种专为扩散模型设计的分辨率适配器，允许图像生成模型生成任意分辨率和宽高比的图像，同时保持原始风格。其主要功能包括分辨率插值、分辨率外推、域一致性、即插即用设计以及广泛的兼容性。通过在扩散模型中插入ResCLoRA和引入ResENorm，ResAdapter能够在不影响模型风格的情况下扩展其分辨率范围。

AI项目与工具 2024年01月01日 70 点赞 0 评论 196 浏览

LayerDiffusion

LayerDiffusion是一种创新的AI工具，利用大规模预训练的潜在扩散模型生成具有透明度的图像。该技术引入了“潜在透明度”的概念，将图像的alpha通道透明度信息编码到潜在空间中。LayerDiffusion不仅可以生成单个透明图像，还能生成多个透明图层，支持条件控制生成和图层内容结构控制，确保高质量的图像输出。此外，它还能够生成多个透明图层，并通过共享注意力机制和低秩适应确保图层间的和谐混

AI项目与工具 2024年01月01日 69 点赞 0 评论 120 浏览

SDXL

SDXL-Lightning是一种基于扩散模型的文本到图像生成技术，由字节跳动的研究团队开发。该模型通过结合渐进式和对抗式蒸馏方法，能够在一至少数步骤内快速生成1024像素分辨率的高质量图像。该模型提供开源模型和权重，支持与现有的LoRA模块和控制插件兼容，可以轻松集成到现有的图片生成系统中。核心技术包括扩散模型、渐进式蒸馏、对抗式蒸馏和鉴别器设计，以确保生成图像的质量和多样性。

AI项目与工具 2024年01月01日 91 点赞 0 评论 273 浏览

VideoCrafter2

VideoCrafter2 是一款由腾讯AI实验室开发的视频生成模型，通过将视频生成过程分解为运动和外观两个部分，能够在缺乏高质量视频数据的情况下，利用低质量视频保持运动的一致性，同时使用高质量图像提升视觉质量。该工具支持文本到视频的转换，生成高质量、具有美学效果的视频，能够理解和组合复杂的概念，并模拟不同的艺术风格。

AI项目与工具 2024年01月01日 49 点赞 0 评论 134 浏览

InstantID

InstantID 是一种基于扩散模型的图像生成技术，专注于实现零次（zero-shot）身份保留（Identity-Preserving）的个性化图像合成。该技术允许用户仅使用一张面部图像，在多种风格中生成个性化的图像，同时确保高保真度。其主要功能包括个性化图像合成、身份特征保留、风格迁移、新视角合成、身份插值和多身份合成。InstantID 兼容预训练模型，无需额外微调即可实现灵活的图像生成。

AI项目与工具 2024年01月01日 56 点赞 0 评论 436 浏览

Outfit Anyone

Outfit Anyone是一款由阿里巴巴智能计算研究院开发的高质量服装虚拟试穿开源项目。它采用双流条件扩散模型处理模特、服装和文本提示，通过衣物图像作为控制因素，生成逼真的虚拟试穿效果。该工具支持低图片输入要求，高质量试衣输出，以及多种服装搭配和姿势调整，适用于普通消费者、服装设计师、模特及电商从业者等不同群体。

AI项目与工具 2024年01月01日 54 点赞 0 评论 335 浏览