扩散变换器

F5

F5-TTS是一款由上海交通大学研发的高性能文本转语音(TTS)系统,采用流匹配与扩散变换器技术,支持多语言合成及情感控制等功能。它能够在无额外监督条件下生成高质量语音,适用于多种商业和非商业场景,如有声读物、语音助手、语言学习等。

EzAudio

EzAudio是一款基于文本到音频(Text-to-Audio, T2A)生成模型,通过优化的扩散变换器架构和高效的数据训练策略,实现了快速生成高质量音频的功能。它支持多种应用场景,如音乐创作、影视后期制作、语音合成等,并具备高保真度和低资源消耗的特点。

Pyramid

Pyramid-Flow是一款基于文本生成高清视频的AI工具,利用创新的金字塔流匹配算法,支持从低分辨率到高分辨率的逐步生成过程,可生成长达10秒、分辨率达1280×768的视频内容。该模型具备端到端优化能力,支持连续帧生成,确保视频内容的连贯性和高质量。