条件生成

VMB

VMB是一个由多机构合作研发的多模态音乐生成框架,可从文本、图像和视频等多样化输入生成音乐。它通过文本桥接和音乐桥接优化跨模态对齐与可控性,显著提高了音乐生成的质量和定制化程度。VMB具有增强模态对齐、提升可控性、显式条件生成等特点,适用于电影、游戏、虚拟现实等多个领域。

Direct3D

Direct3D-S2是由南京大学、DreamTech、复旦大学和牛津大学联合开发的高分辨率3D生成框架,基于稀疏体积表示和空间稀疏注意力(SSA)机制,提升扩散变换器(DiT)的计算效率并降低训练成本。该框架包含全端到端的稀疏SDF变分自编码器(SS-VAE),支持多分辨率训练,在1024³分辨率下仅需8个GPU即可训练。Direct3D-S2能够从图像生成高分辨率3D形状,具有精细几何细节和高