扩散模型

CorrDiff

CorrDiff是NVIDIA开发的生成式AI模型,用于将低分辨率天气数据提升至高分辨率,提升天气预测的精度和效率。采用UNet与扩散模型结合的两步法,显著提升计算速度并降低能耗。支持多变量预测和极端天气模拟,适用于灾害预警和高精度气象分析,具备良好的部署灵活性。

AniTalker

AniTalker是一款先进的AI工具,能将单张静态人像与音频同步转化为生动的动画对话视频。它通过自监督学习捕捉面部动态,采用通用运动表示和身份解耦技术减少对标记数据的依赖,同时结合扩散模型和方差适配器生成多样且可控的面部动画。AniTalker支持视频驱动和语音驱动两种方式,并具备实时控制动画生成的能力。

Shining Yourself

Shining Yourself是商汤科技推出的高保真饰品虚拟试戴技术,基于扩散模型实现逼真试戴效果。支持多饰品、个性化调整、多场景模拟及动态展示,适用于电商、设计、社交及品牌推广等场景,提升用户体验与决策效率。

CineMaster

CineMaster是快手推出的3D感知视频生成框架,支持通过文本提示及深度图、相机轨迹等控制信号生成高质量视频内容。其核心功能包括3D物体与摄像机控制、交互式设计、自动化数据标注和高质量视频输出。采用两阶段工作流程与扩散模型技术,结合语义布局控制网络与摄像机适配器,提升视频生成的精确度与灵活性。适用于影视制作、广告营销、游戏开发等多个领域。

Sketch2Sound

Sketch2Sound是一种由Adobe研究院与西北大学联合开发的AI音频生成技术,通过提取响度、亮度和音高概率等控制信号,结合文本提示生成高质量音效。其轻量化设计使得模型易于适配多种文本到音频框架,同时赋予声音设计师更强的表达力与可控性,广泛适用于电影、游戏、音乐制作及教育等多个领域。

Wonderland

Wonderland是一项由多伦多大学、Snap和UCLA联合开发的技术,能够基于单张图像生成高质量的3D场景,并支持精确的摄像轨迹控制。它结合了视频扩散模型和大规模3D重建模型,解决了传统3D重建技术中的视角失真问题,实现了高效的三维场景生成。Wonderland在多个基准数据集上的3D场景重建质量均优于现有方法,广泛应用于建筑设计、虚拟现实、影视特效、游戏开发等领域。

EasyControl

EasyControl是基于扩散变换器(DiT)架构的高效控制框架,采用轻量级LoRA模块实现多条件控制,支持图像生成、风格转换、动画制作等任务。其具备位置感知训练范式和因果注意力机制,优化计算效率,提升生成质量与灵活性,适用于多种图像处理场景。

Kiss3DGen

Kiss3DGen是一款基于2D扩散模型的3D资产生成框架,通过“3D Bundle Image”结构实现多视角图像与法线图的融合,从而高效生成和编辑3D模型。它支持文本与图像输入,具备3D编辑、网格优化和纹理增强等功能,适用于游戏开发、影视制作、VR/AR、数字孪生及教育等多个领域。

MotionFix

MotionFix是一个开源的3D人体动作编辑工具,采用自然语言描述与条件扩散模型TMED相结合的方式,支持通过文本指令精准编辑3D人体动作。其主要功能包括文本驱动的动作编辑、半自动数据集构建、多模态输入处理及基于检索的评估指标。MotionFix适用于动画制作、游戏开发、虚拟现实等多个领域,为动作编辑提供了灵活性与精确性。

GPDiT

GPDiT是一种由多所高校和企业联合开发的视频生成模型,结合了扩散模型与自回归模型的优势,具备高质量视频生成、视频表示学习、少样本学习和多任务处理能力。其核心技术包括轻量级因果注意力机制和无参数的旋转基时间条件策略,提升了生成效率与质量。该模型适用于视频创作、编辑、内容理解及创意生成等多种应用场景。