语音合成

FilmAgent

FilmAgent是一款由哈尔滨工业大学(深圳)研发的虚拟电影制作工具,基于多智能体协作框架,实现从剧本创作到镜头拍摄的全流程自动化。支持剧本生成、多智能体协作、镜头规划、语音合成等功能,适用于创意视频制作、影视教学及虚拟场景应用。系统在Unity 3D环境中运行,提升电影制作效率与创意表达能力。

All Voice Lab

All Voice Lab是一款基于AI技术的语音创作平台,提供文本转语音、声音克隆、视频翻译、变声等多种功能,支持多语言及多音色转换。平台具备高精度的语音生成能力,可应用于内容创作、视频制作、教育及娱乐等领域,提升内容表现力与国际化传播效率。

ElevenLabs Flash

ElevenLabs Flash是一款专为对话型AI设计的低延迟语音合成模型,支持多种语言,能够以极短的延迟(75毫秒)生成高质量语音,广泛应用于虚拟助手、客户服务、语音播报、教育及娱乐等领域,为用户提供即时反馈和沉浸式体验。该工具以其高效性和灵活性成为超低延迟语音合成领域的领先解决方案。

kokoroTTS

一款开源、高性能的文本转语音(TTS)模型,Kokoro TTS拥有8200万参数,基于StyleTTS 2架构,提供高质量、自然的语音合成,适用于有声书、播客等。

Freestyler

Freestyler是一款由多机构合作开发的AI工具,专注于说唱音乐的自动化生成。它通过结合语言模型、条件流匹配技术和神经声码器,实现了从歌词和伴奏到高质量说唱音频的全流程转化。Freestyler还推出了RapBank数据集,并支持零样本音色控制,广泛应用于音乐创作、现场表演、游戏音效及教育等领域。

MegaTTS 3

MegaTTS 3是由字节跳动与浙江大学合作开发的零样本文本到语音合成系统,采用轻量级扩散模型,支持中英文及混合语音合成,具备语音克隆、音色控制、韵律调节等功能。系统通过分解语音属性实现精准建模,可快速生成高质量语音,适用于教育、内容制作、语音交互等多个领域。

PodAgent

PodAgent是一款由多所高校与企业联合开发的播客生成框架,采用多智能体协作机制,模拟真实脱口秀场景,自动生成高质量对话内容。系统具备声音匹配、语音合成与表现力增强功能,并提供多语言支持和完整播客结构生成能力。同时,PodAgent引入评估指标,确保内容的专业性与多样性,适用于媒体、教育、企业推广等多个领域。

OmniTalker

OmniTalker 是一款由阿里巴巴开发的实时多模态交互技术,支持文本、图像、音频和视频的同步处理,并能生成自然流畅的语音响应。其核心技术包括 Thinker-Talker 架构和 TMRoPE 时间对齐技术,实现音视频精准同步与高效流式处理。适用于智能语音助手、内容创作、教育、客服及工业质检等场景,具有高实时性与稳定性。

Llasa TTS

Llasa TTS是基于LLaMA架构的开源文本转语音模型,支持高质量语音合成、情感表达和音色克隆。采用单层VQ编解码器和Transformer结构,具备多语言支持及长文本处理能力,适用于智能助手、有声读物、游戏娱乐等场景。模型提供不同参数规模版本,支持零样本学习,提升语音自然度和表现力。