扩散模型

JoyCaption

JoyCaption是一款开源图像提示词生成工具,支持多种图像风格和内容类型,具备丰富的生成模式和灵活的提示控制功能。它适用于社交媒体、图像标注、内容创作、视觉辅助及教育等多个场景,能够生成高质量的描述性字幕和提示词,提升图像处理和创作效率。该工具性能优越,且完全免费开放。

ACE

ACE是一款基于扩散Transformer架构的多模态图像生成与编辑工具,通过长上下文条件单元(LCU)和统一条件格式实现自然语言指令的理解与执行。它支持图像生成、编辑、多轮交互等多种任务,适用于艺术创作、媒体制作、广告设计、教育培训等多个领域,提供高效且灵活的视觉内容解决方案。

3DV

3DV-TON是一种基于扩散模型的视频虚拟试穿框架,由阿里巴巴达摩院、湖畔实验室与浙江大学联合研发。该工具通过生成可动画化的纹理化3D网格作为帧级指导,提升试穿视频的视觉质量和时间一致性。其支持复杂服装图案和多样化人体姿态,提供高分辨率基准数据集HR-VVT,适用于在线购物、时尚设计、影视制作等多个领域。

Emu Video

Meta开发的文本到视频生成模型,Emu Video使用扩散模型根据文本提示创建视频,首先生成图像,然后根据文本和生成的图像创建视频。

FantasyID

FantasyID是由阿里巴巴集团与北京邮电大学联合开发的视频生成框架,基于扩散变换器和3D面部几何先验,实现高质量、身份一致的视频生成。其通过多视角增强和分层特征注入技术,提升面部动态表现,同时保持身份稳定性。支持多种应用场景,如虚拟形象、内容创作和数字人交互,具备无需微调的高效生成能力。

PartEdit

PartEdit是一种基于预训练扩散模型的细粒度图像编辑工具,通过优化部分标记实现对图像对象各部分的精准定位与编辑。其采用非二进制掩码和自适应阈值策略,确保编辑内容自然融合,保留原始细节。支持真实图像和多部分同时编辑,无需重新训练模型,适用于艺术设计、影视制作、广告等多个领域。

DICE

DICE-Talk是由复旦大学与腾讯优图实验室联合开发的动态肖像生成框架,能够根据音频和参考图像生成具有情感表达的高质量视频。其核心在于情感与身份的解耦建模,结合情感关联增强和判别机制,确保生成内容的情感一致性与视觉质量。该工具支持多模态输入,具备良好的泛化能力和用户自定义功能,适用于数字人、影视制作、VR/AR、教育及心理健康等多个领域。

ConsistentDreamer

ConsistentDreamer 是由华为慕尼黑研究中心开发的图像到 3D 资产生成技术,能通过单张图像生成多视图一致的 3D 网格。该技术采用多视图先验图像引导和分数蒸馏采样优化,结合动态权重平衡和多种损失函数,提升 3D 表面质量和纹理精度。支持复杂场景编辑、风格转换、物体修改等功能,适用于室内场景、艺术风格转换及跨视图一致性任务。

SwiftBrush V2

SwiftBrush V2 是一款基于文本到图像的单步扩散模型,通过改进权重初始化、LoRA训练及夹紧CLIP损失等技术,实现了与多步Stable Diffusion模型相媲美的性能。它无需真实图像数据即可训练,显著提升了生成速度和图像质量,广泛应用于艺术创作、游戏开发、虚拟现实等领域。

OmniHuman

OmniHuman是字节跳动推出的多模态人类视频生成框架,基于单张图像和运动信号生成高逼真视频。支持音频、姿势及组合驱动,适用于多种图像比例和风格。采用混合训练策略和扩散变换器架构,提升生成效果与稳定性,广泛应用于影视、游戏、教育、广告等领域。