注意力机制

Open

Open-Sora是一个开源视频生成模型,基于DiT架构,通过三个阶段的训练(大规模图像预训练、大规模视频预训练和高质量视频数据微调),生成与文本描述相符的视频内容。该模型包括预训练的VAE、文本编码器和STDiT(Spatial-Temporal Diffusion Transformer)核心组件,利用空间-时间注意力机制和交叉注意力模块实现视频生成。项目旨在提供全面的视频生成模型训练过程,供

ID

ID-Animator是一款由腾讯光子工作室、中科大和中科院合肥物质科学研究院联合开发的零样本人类视频生成技术。它能够根据单张参考面部图像生成个性化视频,并根据文本提示调整视频内容。ID-Animator通过结合预训练的文本到视频扩散模型和轻量级面部适配器,实现高效的身份保真视频生成。其主要功能包括视频角色修改、年龄和性别调整、身份混合以及与ControlNet等现有条件模块的兼容性。

IDM

IDM-VTON是一种基于改进扩散模型的先进AI虚拟试穿技术,由韩国科学技术院和OMNIOUS.AI的研究人员共同开发。该技术利用视觉编码器提取服装的高级语义信息,并通过GarmentNet捕捉服装的低级细节特征,从而生成逼真的人物穿戴图像。IDM-VTON支持文本提示理解,实现了个性化定制和逼真的试穿效果,广泛应用于电子商务、时尚零售、个性化推荐、社交媒体以及时尚设计等领域。

MimicBrush

MimicBrush是一款由阿里巴巴、香港大学和蚂蚁集团联合研发的AI图像编辑工具,通过参考图像模仿和自动区域识别功能,支持对象替换、样式转换和纹理调整等多种图像编辑操作。它具备实时预览、一键编辑和高度自适应的特点,广泛应用于产品设计、时尚、美容、广告、社交媒体内容创作及电子商务等多个领域。

DiT

创新的图像生成模型,它通过结合扩散模型和Transformer架构,实现了在图像生成任务中的高效和高质量输出。其可扩展性和条件生成能力使其在多个领域都有广泛的应用潜力。

UniEdit

UniEdit 是一个强大的视频编辑工具,它通过利用预训练的文本到视频生成器,在无需调优的情况下,提供了一种简单而有效的方法来编辑视频的运动和外观。