扩散模型

FabricDiffusion

FabricDiffusion是一项由谷歌与卡内基梅隆大学联合开发的高保真3D服装生成技术,可将2D服装图像的纹理和印花高质量地转移到3D服装模型上。其核心技术基于去噪扩散模型和大规模合成数据集,生成多种纹理贴图并支持跨光照条件的精准渲染,具备优秀的泛化能力和实际应用潜力,适用于虚拟试衣、游戏开发、影视制作及时尚设计等多个领域。

DanceFusion

DanceFusion是一款由清华大学开发的开源框架,专注于音频驱动的舞蹈动作生成与重建。它采用分层时空Transformer-VAE和扩散模型,能够处理不完整或嘈杂的数据,生成与音乐高度同步的逼真舞蹈动作。该工具支持多种应用场景,包括内容创作、虚拟现实、互动娱乐、舞蹈教育以及动画制作等,展现了其在多领域的应用价值。

VLOGGER

VLOGGER AI是一款由谷歌研究团队开发的多模态扩散模型,主要用于从单一输入图像和音频样本生成逼真的、连贯的人像动态视频。该工具能够根据音频控制人物动作,包括面部表情、唇部动作、头部运动、眼神、眨眼及上身和手部动作,实现音频驱动的视频合成。VLOGGER生成的视频具有高度的真实性和多样性,能够展示原始主体的不同动作和表情。此外,VLOGGER还可以用于编辑现有视频和跨语言视频内容适配。

Kandinsky

Kandinsky-3是一款基于潜在扩散模型的文本到图像生成框架,支持文本到图像生成、图像修复、图像融合、文本-图像融合、图像变化生成及视频生成等多种功能。其核心优势在于简洁高效的架构设计,能够快速生成高质量图像并提升推理效率。

3DHM

3DHM是一项由加州大学伯克利分校开发的3D人体动作生成技术,能够从单张照片生成动态人体视频,具备动作生成、编辑、评估、纹理修复、人体渲染及动作模仿等功能。该技术通过学习人体先验知识和3D运动序列,结合扩散模型和4DHumans预测模型,广泛应用于电影特效、虚拟现实、游戏开发等领域,为动画制作和人体动作模拟提供了创新解决方案。

谛韵DiffRhythm

DiffRhythm(谛韵)是一款由西北工业大学与香港中文大学(深圳)联合开发的端到端音乐生成工具,基于潜扩散模型技术,能在10秒内生成包含人声和伴奏的完整歌曲。用户只需提供歌词和风格提示,即可快速获得高质量音乐作品。其支持多语言输入,具备歌词对齐、风格定制、非自回归生成等技术优势,广泛应用于音乐创作、影视配乐、教育及个人创作等领域。

DiffSplat

DiffSplat是一款高效的3D生成工具,能够根据文本或图像快速生成高质量的3D高斯点云。它基于预训练的文本到图像扩散模型,结合2D先验知识和3D渲染损失机制,确保生成内容在多视角下保持一致。支持文本、图像或组合输入,具备可控生成能力,适用于3D内容创作、图像重建及多种下游应用。

MagicMan

MagicMan是由多个顶尖研究机构联合开发的AI工具,主要功能是从单张2D图像生成高质量的3D人类模型。它结合了预训练的2D扩散模型和参数化的SMPL-X模型,并通过混合多视角注意力机制和迭代细化策略,实现精确的3D感知和图像生成。MagicMan在游戏、电影、虚拟现实、时尚、零售和教育等多个领域有广泛应用,能够显著提高角色设计的真实感和多样性。

Jodi

Jodi是由中国科学院计算技术研究所和中国科学院大学推出的扩散模型框架,基于联合建模图像域和多个标签域,实现视觉生成与理解的统一。它支持联合生成、可控生成和图像感知三种任务,利用线性扩散Transformer和角色切换机制,提升生成效率和跨领域一致性。Jodi使用Joint-1.6M数据集进行训练,包含20万张高质量图像和7个视觉域标签,适用于创意内容生成、多模态数据增强、图像编辑与修复等场景。

TPDM

TPDM是一种基于扩散模型的图像生成技术,通过引入时间预测模块(TPM)和强化学习优化策略,实现了对去噪步骤的自适应调整,从而在保证图像质量的同时提高了生成效率。该模型适用于多种应用场景,包括文本到图像生成、艺术创作辅助以及数字媒体内容生产等,广泛应用于广告、游戏设计、影视制作等领域。