扩散变换器
  1. 首页
  2. 扩散变换器

列表

Hallo3

Hallo3

Hallo3是由复旦大学与百度联合开发的基于扩散变换器网络的肖像动画生成技术，能够生成多视角、动态且逼真的视频内容。其核心功能包括身份一致性保持、语音驱动动画、动态对象渲染和沉浸式背景生成。技术上采用预训练变换器模型，结合身份参考网络与音频条件机制，实现高质量视频生成。适用于游戏开发、影视制作、社交媒体及VR/AR等多个领域。
AI项目与工具 2025年06月12日
Pyramid

Pyramid

Pyramid-Flow是一款基于文本生成高清视频的AI工具，利用创新的金字塔流匹配算法，支持从低分辨率到高分辨率的逐步生成过程，可生成长达10秒、分辨率达1280×768的视频内容。该模型具备端到端优化能力，支持连续帧生成，确保视频内容的连贯性和高质量。
AI项目与工具 2025年06月12日
EzAudio

EzAudio

EzAudio是一款基于文本到音频（Text-to-Audio, T2A）生成模型，通过优化的扩散变换器架构和高效的数据训练策略，实现了快速生成高质量音频的功能。它支持多种应用场景，如音乐创作、影视后期制作、语音合成等，并具备高保真度和低资源消耗的特点。
AI项目与工具 2025年06月12日
F5

F5

F5-TTS是一款由上海交通大学研发的高性能文本转语音（TTS）系统，采用流匹配与扩散变换器技术，支持多语言合成及情感控制等功能。它能够在无额外监督条件下生成高质量语音，适用于多种商业和非商业场景，如有声读物、语音助手、语言学习等。
AI项目与工具 2025年06月12日
VMB

VMB

VMB是一个由多机构合作研发的多模态音乐生成框架，可从文本、图像和视频等多样化输入生成音乐。它通过文本桥接和音乐桥接优化跨模态对齐与可控性，显著提高了音乐生成的质量和定制化程度。VMB具有增强模态对齐、提升可控性、显式条件生成等特点，适用于电影、游戏、虚拟现实等多个领域。
AI项目与工具 2025年06月12日
谛韵DiffRhythm

谛韵DiffRhythm

DiffRhythm（谛韵）是一款由西北工业大学与香港中文大学（深圳）联合开发的端到端音乐生成工具，基于潜扩散模型技术，能在10秒内生成包含人声和伴奏的完整歌曲。用户只需提供歌词和风格提示，即可快速获得高质量音乐作品。其支持多语言输入，具备歌词对齐、风格定制、非自回归生成等技术优势，广泛应用于音乐创作、影视配乐、教育及个人创作等领域。
AI项目与工具 2025年06月12日
SeedVR

SeedVR

SeedVR是由南洋理工大学与字节跳动联合开发的视频修复模型，采用移位窗口注意力机制和因果视频变分自编码器，实现高质量、高效率的视频修复。支持任意长度和分辨率的视频处理，生成具有真实感细节的修复结果，适用于影视修复、广告制作、监控视频优化等多个场景。其处理速度优于现有方法，具备良好的实用性与扩展性。
AI项目与工具 2025年06月12日
Sana

Sana

SANA是一个由NVIDIA、麻省理工学院和清华大学共同研发的文本到图像生成框架，支持生成高达4096×4096分辨率的高清图像。它采用了深度压缩自编码器、线性扩散变换器（Linear DiT）和小型语言模型作为文本编码器，并通过优化的训练和采样策略提升了生成效率。SANA在模型大小和运行速度上具备显著优势，适合多种应用场景，包括艺术创作、游戏开发、广告设计和科学研究等。
AI项目与工具 2025年06月12日
QA

QA

QA-MDT是一款基于文本生成高质量音乐的开源工具，其核心技术包括质量感知训练、掩蔽扩散变换器以及音乐与文本的同步优化。它能够根据用户提供的文本描述生成多样化的音乐作品，并通过质量控制确保输出结果的高保真度。此外，QA-MDT支持音乐与文本的一致性增强，适用于广告、影视配乐、音乐教育及智能设备等多个领域。
AI项目与工具 2025年06月12日
Direct3D

Direct3D

Direct3D-S2是由南京大学、DreamTech、复旦大学和牛津大学联合开发的高分辨率3D生成框架，基于稀疏体积表示和空间稀疏注意力（SSA）机制，提升扩散变换器（DiT）的计算效率并降低训练成本。该框架包含全端到端的稀疏SDF变分自编码器（SS-VAE），支持多分辨率训练，在1024³分辨率下仅需8个GPU即可训练。Direct3D-S2能够从图像生成高分辨率3D形状，具有精细几何细节和高
AI项目与工具 2025年06月11日