文本到语音

OuteTTS

OuteTTS是一款基于开源技术的文本到语音(TTS)工具,利用纯语言建模方法生成自然语音。它支持语音克隆和自定义说话人声音,具备音频标记化、CTC强制对齐和结构化提示创建等功能。OuteTTS与llama.cpp和GGUF格式兼容,适用于有声读物、智能客服、语音导航等多种应用场景。

LatentLM

LatentLM是一款由微软与清华大学合作开发的多模态生成模型,能够统一处理文本、图像、音频等多种数据类型。它基于变分自编码器(VAE)和因果Transformer架构,支持自回归生成与跨模态信息共享,特别擅长图像生成、多模态语言模型及文本到语音合成等任务,其提出的σ-VAE进一步提升了模型的鲁棒性。

Sketch2Sound

Sketch2Sound是一种由Adobe研究院与西北大学联合开发的AI音频生成技术,通过提取响度、亮度和音高概率等控制信号,结合文本提示生成高质量音效。其轻量化设计使得模型易于适配多种文本到音频框架,同时赋予声音设计师更强的表达力与可控性,广泛适用于电影、游戏、音乐制作及教育等多个领域。

PDF to Podcast

PDF to Podcast 是一款由 NVIDIA 开发的 AI 工具,能够将 PDF 文档自动转换为高质量的音频内容,如播客。该工具结合了大型语言模型、文本到语音技术以及 NVIDIA NIM 微服务架构,支持从 PDF 提取信息并生成结构化文本,再通过语音合成输出自然流畅的音频。用户可自定义生成内容的重点,并支持多种部署方式,适用于企业培训、技术简报、客户服务、医疗教育等多个领域。

PlayDiffusion

PlayDiffusion是Play AI推出的音频编辑模型,基于扩散模型技术实现音频的精细编辑和修复。它将音频编码为离散标记序列,通过掩码处理和去噪生成高质量音频,保持语音连贯性和自然性。支持局部编辑、高效文本到语音合成、动态语音修改等功能,具有非自回归特性,提升生成速度与质量。适用于配音纠错、播客剪辑、实时语音互动等场景。

Voicemaker

Voicemaker,强大的文本到语音转换器,它也能通过先进的人工智能技术来制作高质量的画外音,听起来像人性化且富有表现力。

VoiceCraft

VoiceCraft是一款开源的神经编解码器语言模型,专攻零样本语音编辑和文本到语音(TTS)任务。它采用Transformer架构,通过token重排过程结合因果掩蔽和延迟叠加技术,实现在现有音频序列内高效生成自然的语音。VoiceCraft在多种口音、风格和噪声条件下表现出色,适用于有声读物制作、视频内容创作、播客音频编辑及多语言内容生产等场景。

Parler

Parler-TTS是一款由Hugging Face开发的开源文本到语音(TTS)模型,能够模仿特定说话者的风格,生成高质量、自然的语音。该模型采用轻量级设计,包括文本编码器、解码器和音频编解码器,通过整合文本描述和嵌入层,优化了语音生成过程。Parler-TTS的所有资源公开,促进了高质量、可控TTS模型的发展。此外,用户还可以根据需要对模型进行自定义训练和微调。

Speech Studio

Speech Studio是一套用于构建和集成Azure认知服务语音服务功能到应用程序中的工具。它为创建项目提供了一种无需代码的方法,可以访问诸如实时语音到文本、自定义语音识别模型、发...

Eleven Labs

Eleven Labs的长格式语音生成平台使用人工智能为创作者和出版商创造自然而引人注目的声音。