扩散模型

Edicho

Edicho 是一种基于扩散模型的图像编辑工具,能够在多图像间实现一致性编辑,无需额外训练。其核心技术包括 Corr-Attention 注意力模块和 Corr-CFG 去噪策略,通过显式图像对应关系提升编辑质量与一致性。适用于图像修复、风格转换、内容创作、医学影像增强等场景,具备良好的兼容性与扩展性。

TransPixar

TransPixar是由多所高校及研究机构联合开发的开源文本到视频生成工具,基于扩散变换器(DiT)架构,支持生成包含透明度信息的RGBA视频。该技术通过alpha通道生成、LoRA微调和注意力机制优化,实现高质量、多样化的视频内容生成。适用于影视特效、广告制作、教育演示及虚拟现实等多个领域,为视觉内容创作提供高效解决方案。

LatentSync

LatentSync是由字节跳动与北京交通大学联合研发的端到端唇形同步框架,基于音频条件的潜在扩散模型,无需中间3D或2D表示,可生成高分辨率、动态逼真的唇同步视频。其核心技术包括Temporal Representation Alignment (TREPA)方法,提升视频时间一致性,并结合SyncNet监督机制确保唇部动作准确。适用于影视制作、教育、广告、远程会议及游戏开发等多个领域。

Motion Prompting

Motion Prompting 是一种利用点轨迹表示的视频生成技术,支持对象控制、相机控制及物理现象模拟等功能。它通过将用户输入转化为详细的运动轨迹,结合预训练的视频扩散模型与控制网络,在保持灵活性的同时提高生成质量。这项技术广泛应用于电影制作、游戏开发、虚拟现实等领域,为用户提供了强大的交互式视频生成工具。 ---

FUZZ

由Riffusion推出的一款基于扩散模型(Diffusion Model)的全新音乐生成模型,该工具能够通过“想象”生成音频的声谱图(Spectrogram),然后将其转换为音频。

Edify 3D

Edify 3D 是 NVIDIA 推出的一款高效3D资产生成工具,能够从文本或图像输入快速生成高质量的3D模型。其主要功能包括支持文本到3D、图像到3D的转换,生成高分辨率纹理与 PBR 材质,并具备快速生成、UV贴图和材质图生成等特性。该工具通过多视图扩散模型、Transformer 模型及跨视图注意力机制实现精准建模,适用于游戏开发、虚拟现实、影视制作及建筑可视化等多个领域。

AvatarFX

AvatarFX是由Character.AI开发的AI视频生成工具,通过上传图片和选择语音,可生成角色说话、唱歌和表达情感的动态视频。支持多角色、多轮对话及长视频生成,具备高时间一致性。采用扩散模型与音频条件化技术,确保动作与语音同步。适用于互动故事、虚拟直播、娱乐表演及教育内容创作,提供高效、高质量的视频生成体验。

Custom

Custom-SVG 是一种基于文本提示生成定制风格 SVG 图形的框架,结合前馈模型与扩散模型的优势,实现结构规整且风格统一的矢量图形生成。支持风格定制、语义对齐和高效生成,适用于图形设计、UI 设计、网页设计及教育等多个领域。其核心技术包括路径级表示的扩散模型训练和基于图像扩散先验的风格迁移。

Concept Lancet

Concept Lancet(CoLan)是一种基于潜在空间稀疏分解的图像编辑框架,能够实现零样本、即插即用的精确概念替换、添加与移除。它通过构建视觉概念字典,结合扩散模型生成高质量图像,保持视觉一致性。适用于创意设计、影视制作、游戏开发等多个领域,提供高效的图像编辑解决方案。

InspireMusic

InspireMusic是由阿里巴巴通义实验室开发的AI音乐生成工具,支持通过文字描述或音频提示生成多种风格的音乐作品。其核心技术包括音频 tokenizer、自回归 Transformer 模型、扩散模型(CFM)和 Vocoder,实现文本到音乐的转换、音乐续写及高质量音频输出。该工具支持长音频生成、多种采样率,并提供快速与高音质两种推理模式,适用于音乐创作、音频处理及个性化音乐生成等场景。