扩散模型

TPDM

TPDM是一种基于扩散模型的图像生成技术,通过引入时间预测模块(TPM)和强化学习优化策略,实现了对去噪步骤的自适应调整,从而在保证图像质量的同时提高了生成效率。该模型适用于多种应用场景,包括文本到图像生成、艺术创作辅助以及数字媒体内容生产等,广泛应用于广告、游戏设计、影视制作等领域。

OmniCam

OmniCam 是一种基于多模态输入的高级视频生成框架,结合大型语言模型与视频扩散模型,实现高质量、时空一致的视频内容生成。支持文本、视频或图像作为输入,精确控制摄像机运动轨迹,具备帧级操作、复合运动、速度调节等功能。采用三阶段训练策略提升生成效果,并引入 OmniTr 数据集增强模型性能。适用于影视、广告、教育及安防等多个领域,提高视频创作效率与质量。

TANGLED

TANGLED是一种3D发型生成技术,可从多种风格和视角的图像中生成高质量发丝。其核心技术包括多视图线稿扩散框架与参数化后处理模块,支持复杂发型的细节修复。该工具具备文化包容性,适用于动画、AR及虚拟试妆等场景,提升发型设计效率与真实性。

Index

Index-AniSora是由哔哩哔哩开发的动漫视频生成模型,支持多种动画风格的生成,涵盖番剧、国创、VTuber等内容。其核心技术包括扩散模型、时空掩码模块和Transformer架构,具备图像到视频生成、帧插值、局部引导等能力。模型提供高质量数据集,适用于动画制作、创意验证、教育及营销等多个领域。

Jodi

Jodi是由中国科学院计算技术研究所和中国科学院大学推出的扩散模型框架,基于联合建模图像域和多个标签域,实现视觉生成与理解的统一。它支持联合生成、可控生成和图像感知三种任务,利用线性扩散Transformer和角色切换机制,提升生成效率和跨领域一致性。Jodi使用Joint-1.6M数据集进行训练,包含20万张高质量图像和7个视觉域标签,适用于创意内容生成、多模态数据增强、图像编辑与修复等场景。

I2VEdit

I2VEdit是一款基于图像到视频扩散模型的先进视频编辑框架,通过首帧编辑实现全视频效果传播。它能够保持视频的时间和运动一致性,支持局部与全局编辑任务,包括更换对象、风格转换等,并广泛应用于社交媒体内容创作、视频后期制作、虚拟试穿等领域。

PartGen

PartGen是一款基于多视图扩散模型的3D对象生成与重建工具,可从文本、图像或现有3D模型生成由意义明确部分组成的三维对象。它具备自动部分分割、3D重建及基于文本指令的部分编辑等功能,广泛应用于3D打印、游戏开发、影视制作等领域,显著提升工作效率并优化用户体验。

Ingredients

Ingredients是一款基于多身份图像与视频扩散Transformer的视频生成框架,支持多身份特征的高效整合与动态分配。其核心模块包括面部提取器、多尺度投影器和ID路由器,能够保持身份一致性并生成高质量视频内容。无需额外训练即可实现个性化视频制作,适用于娱乐、广告、教育等多个领域。

SynthLight

SynthLight是由耶鲁大学与Adobe Research联合开发的基于扩散模型的人像重照明工具,通过物理渲染引擎生成合成数据并结合多任务训练策略,实现高质量的光照效果生成。它能够根据环境光照图重新渲染人像,生成自然的高光、阴影和漫反射效果,并适用于摄影后期、虚拟场景、游戏开发及广告设计等多个领域,具备良好的泛化能力和实用性。

SPAR3D

SPAR3D是一种基于两阶段设计的单图像3D重建工具,能从单张2D图像生成高质量的3D网格。它结合点扩散模型与三平面Transformer技术,实现快速、精确的几何与纹理重建,并支持用户交互式编辑。适用于增强现实、影视制作、工业设计等多个领域。