扩散模型

MMaDA

MMaDA(Multimodal Large Diffusion Language Models)是由普林斯顿大学、清华大学、北京大学和字节跳动联合开发的多模态扩散模型,支持跨文本推理、多模态理解和文本到图像生成等多种功能。其采用统一的扩散架构和模态不可知设计,结合混合长链推理微调策略与UniGRPO强化学习算法,提升跨模态任务性能。MMaDA在多项任务中表现优异,适用于内容创作、教育辅助、智能客

DiffSplat

DiffSplat是一款高效的3D生成工具,能够根据文本或图像快速生成高质量的3D高斯点云。它基于预训练的文本到图像扩散模型,结合2D先验知识和3D渲染损失机制,确保生成内容在多视角下保持一致。支持文本、图像或组合输入,具备可控生成能力,适用于3D内容创作、图像重建及多种下游应用。

BlockDance

BlockDance是由复旦大学与字节跳动联合开发的扩散模型加速技术,通过识别结构相似的时空特征(STSS)减少冗余计算,提升推理效率达25%-50%。结合强化学习的BlockDance-Ada模块实现动态资源分配,平衡速度与质量。适用于图像、视频生成及实时应用,支持多种模型,兼顾高效与高质,适用于资源受限环境。

VPP

VPP(Video Prediction Policy)是清华大学与星动纪元联合开发的AIGC机器人模型,基于视频扩散模型实现未来场景预测与动作生成。支持高频预测与跨机器人本体学习,显著降低对真实数据的依赖。在复杂任务中表现出色,适用于家庭、工业、医疗、教育等多个领域。其开源特性推动了具身智能机器人技术的发展。

Outfit Anyone

Outfit Anyone是一款由阿里巴巴智能计算研究院开发的高质量服装虚拟试穿开源项目。它采用双流条件扩散模型处理模特、服装和文本提示,通过衣物图像作为控制因素,生成逼真的虚拟试穿效果。该工具支持低图片输入要求,高质量试衣输出,以及多种服装搭配和姿势调整,适用于普通消费者、服装设计师、模特及电商从业者等不同群体。

DiTCtrl

DiTCtrl是一种基于多模态扩散变换器架构的视频生成工具,能够利用多个文本提示生成连贯且高质量的视频内容,无需额外训练即可实现零样本多提示视频生成。它通过KV共享和潜在混合策略优化不同提示间的平滑过渡,同时在MPVBench基准上表现出色,适用于电影、游戏、广告及新闻等多个领域。

FabricDiffusion

FabricDiffusion是一项由谷歌与卡内基梅隆大学联合开发的高保真3D服装生成技术,可将2D服装图像的纹理和印花高质量地转移到3D服装模型上。其核心技术基于去噪扩散模型和大规模合成数据集,生成多种纹理贴图并支持跨光照条件的精准渲染,具备优秀的泛化能力和实际应用潜力,适用于虚拟试衣、游戏开发、影视制作及时尚设计等多个领域。

Imagen 4

Imagen 4是谷歌推出的最新图像生成AI模型,支持高达2K分辨率的图像生成,具备出色的细节呈现能力,可清晰展示复杂织物纹理、水滴折射及动物毛发质感。其文本渲染能力显著提升,适合广告、漫画等设计场景。支持多种艺术风格,包括超现实、抽象、插图和摄影,满足多样化创作需求。同时,Imagen 4拥有快速生成模式和高效的特征蒸馏技术,提升了生成速度,并已集成到Gemini应用、Google Worksp

DIAMOND

DIAMOND是一款基于扩散模型的强化学习代理,专注于模拟复杂环境以支持代理的学习与决策。它在Atari游戏和3D环境中表现出色,能够捕捉丰富的视觉信息。通过连续潜在变量和优化的去噪步骤,DIAMOND提升了模型的稳定性和效率。其应用场景涵盖游戏AI开发、机器人技术、虚拟现实、教育培训及科学研究等领域。

HoloTime

HoloTime 是由北京大学深圳研究生院与鹏城实验室联合开发的全景 4D 场景生成框架,可将单张全景图像转化为动态视频,并进一步重建为沉浸式 4D 场景。其核心技术包括全景动画生成器(Panoramic Animator)和时空重建技术,结合 360World 数据集进行训练,实现高质量的视频生成与场景重建。该工具支持 VR/AR 应用,适用于虚拟旅游、影视制作、游戏开发等多个领域,提供高效的沉