扩散变换器
  1. 首页
  2. 扩散变换器

列表

OmniSync

OmniSync

OmniSync是由中国人民大学、快手科技和清华大学联合开发的通用对口型框架，基于扩散变换器实现视频中人物口型与语音的精准同步。它采用无掩码训练范式，直接编辑视频帧，支持无限时长推理，保持自然面部动态和身份一致性。通过渐进噪声初始化和动态时空分类器自由引导（DS-CFG）机制，提升音频条件下的口型同步效果。OmniSync适用于影视配音、虚拟现实、AI内容生成等多个场景。
AI项目与工具 2025年06月11日
Direct3D

Direct3D

Direct3D-S2是由南京大学、DreamTech、复旦大学和牛津大学联合开发的高分辨率3D生成框架，基于稀疏体积表示和空间稀疏注意力（SSA）机制，提升扩散变换器（DiT）的计算效率并降低训练成本。该框架包含全端到端的稀疏SDF变分自编码器（SS-VAE），支持多分辨率训练，在1024³分辨率下仅需8个GPU即可训练。Direct3D-S2能够从图像生成高分辨率3D形状，具有精细几何细节和高
AI项目与工具 2025年06月11日
UNO

UNO

UNO是字节跳动推出的AI图像生成框架，支持单主体和多主体图像生成，解决多主体一致性难题。采用扩散变换器和渐进式跨模态对齐技术，结合通用旋转位置嵌入（UnoPE），实现高一致性与可控性。适用于虚拟试穿、产品设计、创意设计等多个领域，具备强大泛化能力，已开源并提供完整技术文档。
AI项目与工具 2025年06月11日
谛韵DiffRhythm

谛韵DiffRhythm

DiffRhythm（谛韵）是一款由西北工业大学与香港中文大学（深圳）联合开发的端到端音乐生成工具，基于潜扩散模型技术，能在10秒内生成包含人声和伴奏的完整歌曲。用户只需提供歌词和风格提示，即可快速获得高质量音乐作品。其支持多语言输入，具备歌词对齐、风格定制、非自回归生成等技术优势，广泛应用于音乐创作、影视配乐、教育及个人创作等领域。
AI项目与工具 2025年06月12日
Hallo3

Hallo3

Hallo3是由复旦大学与百度联合开发的基于扩散变换器网络的肖像动画生成技术，能够生成多视角、动态且逼真的视频内容。其核心功能包括身份一致性保持、语音驱动动画、动态对象渲染和沉浸式背景生成。技术上采用预训练变换器模型，结合身份参考网络与音频条件机制，实现高质量视频生成。适用于游戏开发、影视制作、社交媒体及VR/AR等多个领域。
AI项目与工具 2025年06月12日
SeedVR

SeedVR

SeedVR是由南洋理工大学与字节跳动联合开发的视频修复模型，采用移位窗口注意力机制和因果视频变分自编码器，实现高质量、高效率的视频修复。支持任意长度和分辨率的视频处理，生成具有真实感细节的修复结果，适用于影视修复、广告制作、监控视频优化等多个场景。其处理速度优于现有方法，具备良好的实用性与扩展性。
AI项目与工具 2025年06月12日
VMB

VMB

VMB是一个由多机构合作研发的多模态音乐生成框架，可从文本、图像和视频等多样化输入生成音乐。它通过文本桥接和音乐桥接优化跨模态对齐与可控性，显著提高了音乐生成的质量和定制化程度。VMB具有增强模态对齐、提升可控性、显式条件生成等特点，适用于电影、游戏、虚拟现实等多个领域。
AI项目与工具 2025年06月12日
In

In

In-Context LoRA是一种基于扩散变换器（DiTs）的图像生成框架，通过微调少量数据实现多样化图像生成任务。它无需修改原始模型结构，减少了对大规模标注数据的依赖，同时保持了高质量的生成效果。该工具支持多任务图像生成、上下文学习能力、任务无关性以及条件图像生成等功能，适用于故事板生成、字体设计、家居装饰等多个领域。
AI项目与工具 2025年06月12日
Sana

Sana

SANA是一个由NVIDIA、麻省理工学院和清华大学共同研发的文本到图像生成框架，支持生成高达4096×4096分辨率的高清图像。它采用了深度压缩自编码器、线性扩散变换器（Linear DiT）和小型语言模型作为文本编码器，并通过优化的训练和采样策略提升了生成效率。SANA在模型大小和运行速度上具备显著优势，适合多种应用场景，包括艺术创作、游戏开发、广告设计和科学研究等。
AI项目与工具 2025年06月12日
F5

F5

F5-TTS是一款由上海交通大学研发的高性能文本转语音（TTS）系统，采用流匹配与扩散变换器技术，支持多语言合成及情感控制等功能。它能够在无额外监督条件下生成高质量语音，适用于多种商业和非商业场景，如有声读物、语音助手、语言学习等。
AI项目与工具 2025年06月12日