扩散变换器

UNO

UNO是字节跳动推出的AI图像生成框架,支持单主体和多主体图像生成,解决多主体一致性难题。采用扩散变换器和渐进式跨模态对齐技术,结合通用旋转位置嵌入(UnoPE),实现高一致性与可控性。适用于虚拟试穿、产品设计、创意设计等多个领域,具备强大泛化能力,已开源并提供完整技术文档。

Direct3D

Direct3D-S2是由南京大学、DreamTech、复旦大学和牛津大学联合开发的高分辨率3D生成框架,基于稀疏体积表示和空间稀疏注意力(SSA)机制,提升扩散变换器(DiT)的计算效率并降低训练成本。该框架包含全端到端的稀疏SDF变分自编码器(SS-VAE),支持多分辨率训练,在1024³分辨率下仅需8个GPU即可训练。Direct3D-S2能够从图像生成高分辨率3D形状,具有精细几何细节和高

OmniSync

OmniSync是由中国人民大学、快手科技和清华大学联合开发的通用对口型框架,基于扩散变换器实现视频中人物口型与语音的精准同步。它采用无掩码训练范式,直接编辑视频帧,支持无限时长推理,保持自然面部动态和身份一致性。通过渐进噪声初始化和动态时空分类器自由引导(DS-CFG)机制,提升音频条件下的口型同步效果。OmniSync适用于影视配音、虚拟现实、AI内容生成等多个场景。