扩散模型

Inf

Inf-DiT是由清华大学与智谱AI联合开发的图像上采样技术,基于扩散模型并引入单向块注意力机制(UniBA),有效降低内存消耗,支持超高分辨率图像生成。其采用扩散变换器(DiT)架构,具备灵活的图像上采样能力,并通过全局图像嵌入和交叉注意力机制增强图像的一致性与质量。该技术适用于设计、影视、印刷及医学等领域,具有广泛的应用前景。

Video Diffusion Models

Video Diffusion Models项目展示了扩散模型在视频生成领域的潜力,通过创新的梯度条件方法和自回归扩展技术,生成了具有高度时间连贯性和质量的视频样本。

FantasyID

FantasyID是由阿里巴巴集团与北京邮电大学联合开发的视频生成框架,基于扩散变换器和3D面部几何先验,实现高质量、身份一致的视频生成。其通过多视角增强和分层特征注入技术,提升面部动态表现,同时保持身份稳定性。支持多种应用场景,如虚拟形象、内容创作和数字人交互,具备无需微调的高效生成能力。

Audio2Photoreal

从音频生成全身逼真的虚拟人物形象。它可以从多人对话中语音中生成与对话相对应的逼真面部表情、完整身体和手势动作。

Sonauto AI

一款AI音乐生成器,允许用户通过将文本提示、歌词或旋律转换为完整的不同风格的歌曲。它采用了潜在扩散模型,这使得它与其他人工智能音乐生成模型相比更加可控。

Gendo

Gendo是一款结合生成式AI技术的建筑可视化平台,通过生成对抗网络(GANs)和扩散模型等手段,帮助设计师快速创建逼真的建筑概念图,并支持从草图到最终图像的全周期操作,具备生成性编辑、风格迁移和文本到图像生成等功能,旨在提升设计效率与视觉沟通质量。

MDM

Matryoshka Diffusion Models (MDM) 是一种由苹果公司开发的新型扩散模型框架,通过嵌套UNet架构实现多分辨率联合去噪,支持从低分辨率到高分辨率的渐进式训练,显著提升高分辨率图像生成效率,适用于多种应用场景,如数字艺术创作、游戏开发、电影制作等,并具备出色的零样本泛化能力。

OmniHuman

OmniHuman是字节跳动推出的多模态人类视频生成框架,基于单张图像和运动信号生成高逼真视频。支持音频、姿势及组合驱动,适用于多种图像比例和风格。采用混合训练策略和扩散变换器架构,提升生成效果与稳定性,广泛应用于影视、游戏、教育、广告等领域。

VISION XL

VISION XL是一款基于潜在扩散模型的视频修复与超分辨率工具,支持视频去模糊、超分辨率提升、视频修复及帧平均等功能。它采用伪批一致性采样、批量一致性反演等技术,显著提高了处理效率和视频质量。VISION XL广泛应用于电影修复、监控视频增强、体育赛事直播等领域,能够满足高质量视频需求。

PersonaCraft

PersonaCraft是一种结合扩散模型和3D人体建模的全身图像合成技术,能够从单一参考图像生成多个逼真的个性化全身图像。它支持遮挡处理、用户自定义身体形状,并通过3D感知姿态条件控制提高生成图像的质量。该工具广泛应用于社交媒体、广告、时尚、游戏及电影等领域,为个性化定制提供了强大的技术支持。