扩散模型

AnyText

一个创新的多语言视觉文本生成和编辑工具,利用先进的扩散模型技术,能够准确生成和编辑图像中的文本。它不仅支持多种语言和文本风格,还能在复杂的图像背景中保持文本的清晰度和...

MGIE

MGIE 是苹果团队开源的一款 AI 图像编辑工具,它利用多模态大模型来增强图像编辑的指令引导能力。用户只需拍摄照片并输入文字指令,MGIE 便能够自动进行图像编辑,实现用户所需的...

Imagen【推荐试用】

我们提出了Imagen,一个文本到图像的扩散模型,具有前所未有的写实主义程度和深度的语言理解。

Video Diffusion Models

Video Diffusion Models项目展示了扩散模型在视频生成领域的潜力,通过创新的梯度条件方法和自回归扩展技术,生成了具有高度时间连贯性和质量的视频样本。

混元DiT

混元DiT(Hunyuan-DiT)是腾讯混元团队开源的高性能文本到图像的扩散Transformer模型,具备细粒度的中英文理解能力,能够生成多分辨率的高质量图像。该模型结合了双语CLIP和多语言T5编码器,通过精心设计的数据管道进行训练和优化。混元DiT的主要功能包括双语文本到图像生成、细粒度中文元素理解、长文本处理能力、多尺寸图像生成、多轮对话和上下文理解、高一致性和艺术性。此外,混元DiT在

IDM

IDM-VTON是一种基于改进扩散模型的先进AI虚拟试穿技术,由韩国科学技术院和OMNIOUS.AI的研究人员共同开发。该技术利用视觉编码器提取服装的高级语义信息,并通过GarmentNet捕捉服装的低级细节特征,从而生成逼真的人物穿戴图像。IDM-VTON支持文本提示理解,实现了个性化定制和逼真的试穿效果,广泛应用于电子商务、时尚零售、个性化推荐、社交媒体以及时尚设计等领域。

DreaMoving

DreaMoving是一个基于扩散模型的人类视频生成框架,由阿里巴巴集团研究团队开发。该框架通过视频控制网络(Video ControlNet)和内容引导器(Content Guider)实现对人物动作和外观的精确控制,允许用户通过文本或图像提示生成个性化视频内容。其主要功能包括定制化视频生成、高度可控性、身份保持、多样化的输入方式以及易于使用的架构设计。DreaMoving广泛应用于影视制作、游

Champ

Champ是由阿里巴巴、复旦大学和南京大学的研究人员共同开发的一款基于3D的AI工具,能够将人物图片转换为高质量的视频动画。Champ通过结合3D参数化模型和潜在扩散模型,精准捕捉和再现人体的3D形态和动态,保证动画的连贯性和视觉逼真度。此外,Champ还支持跨身份动画生成,并能与文本生成图像模型结合,使用户可以根据文本描述生成特定的角色外观和动作。

BrushNet

BrushNet是一款基于扩散模型的图像修复工具,采用双分支架构处理遮罩区域。它能够实现像素级修复,保持修复区域与原始图像的一致性和高质量。BrushNet适用于多种场景和风格的图像,包括人类、动物、室内和室外场景,以及自然图像、铅笔画、动漫、插画和水彩画等。通过与预训练扩散模型结合,BrushNet提供灵活的修复控制,同时保留未遮罩区域的细节。

Stable Video 3D (SV3D)

Stable Video 3D(SV3D)是一款由Stability AI公司开发的多视角合成和3D生成模型,能够从单张图片生成一致的多视角图像,并进一步优化生成高质量的3D网格模型。该模型在视频扩散模型基础上进行改进,提供更好的质量和多视角体验。主要功能包括多视角视频生成、3D网格创建、轨道视频生成、相机路径控制以及新视角合成。SV3D在新视角合成方面取得显著进展,能够生成逼真且一致的视图,提升