扩散模型

Playmate

Playmate是由广州趣丸科技开发的人脸动画生成框架,基于3D隐式空间引导扩散模型和双阶段训练框架,能够根据音频和指令精准控制人物表情和头部姿态,生成高质量动态肖像视频。其支持情感控制、姿态控制和独立控制,可生成多种风格的动态肖像,适用于影视制作、游戏开发、虚拟现实、互动媒体及教育等多个领域。

LightLab

LightLab是一款基于扩散模型的图像光源控制工具,支持对图像中的光源强度、颜色、环境光以及虚拟光源进行精细调整。通过结合真实照片与合成图像训练,该工具能生成逼真的光照效果,如阴影和反射。其交互式界面使用户能够直观地进行光照编辑,适用于摄影后期、影视特效、室内设计、游戏开发和广告制作等多个领域。

Sketch2Sound

Sketch2Sound是一种由Adobe研究院与西北大学联合开发的AI音频生成技术,通过提取响度、亮度和音高概率等控制信号,结合文本提示生成高质量音效。其轻量化设计使得模型易于适配多种文本到音频框架,同时赋予声音设计师更强的表达力与可控性,广泛适用于电影、游戏、音乐制作及教育等多个领域。

MotionFix

MotionFix是一个开源的3D人体动作编辑工具,采用自然语言描述与条件扩散模型TMED相结合的方式,支持通过文本指令精准编辑3D人体动作。其主要功能包括文本驱动的动作编辑、半自动数据集构建、多模态输入处理及基于检索的评估指标。MotionFix适用于动画制作、游戏开发、虚拟现实等多个领域,为动作编辑提供了灵活性与精确性。

Kiss3DGen

Kiss3DGen是一款基于2D扩散模型的3D资产生成框架,通过“3D Bundle Image”结构实现多视角图像与法线图的融合,从而高效生成和编辑3D模型。它支持文本与图像输入,具备3D编辑、网格优化和纹理增强等功能,适用于游戏开发、影视制作、VR/AR、数字孪生及教育等多个领域。

Shining Yourself

Shining Yourself是商汤科技推出的高保真饰品虚拟试戴技术,基于扩散模型实现逼真试戴效果。支持多饰品、个性化调整、多场景模拟及动态展示,适用于电商、设计、社交及品牌推广等场景,提升用户体验与决策效率。

GenCast

GenCast是一款基于扩散模型的AI气象预测工具,可提供长达15天的高精度全球天气预报,尤其擅长预测极端天气事件。它采用0.25°纬度-经度分辨率生成高精度集合预报,并通过并行计算在8分钟内完成预测。GenCast已开源,支持学术界和行业用户进一步研究与应用。

Bolt3D

Bolt3D是由谷歌研究院、牛津大学VGG团队与谷歌DeepMind联合开发的3D场景生成技术,基于潜在扩散模型,能在单块GPU上仅需6.25秒生成高质量3D场景。支持多视角输入,具备良好泛化能力,采用高斯溅射技术实现高保真表示,并支持实时交互。适用于游戏开发、VR/AR、建筑设计和影视制作等领域。

EasyControl

EasyControl是基于扩散变换器(DiT)架构的高效控制框架,采用轻量级LoRA模块实现多条件控制,支持图像生成、风格转换、动画制作等任务。其具备位置感知训练范式和因果注意力机制,优化计算效率,提升生成质量与灵活性,适用于多种图像处理场景。

IFAdapter

IFAdapter是一种由腾讯与新加坡国立大学联合开发的文本到图像生成模型,专为提高多实例图像生成时的空间定位与特征表达准确性而设计。它通过“外观标记”与“实例语义图”两大关键技术解决了传统方法中的定位与特征问题,并支持以即插即用的形式融入现有扩散模型,无需重新训练即可实现高效的空间控制。