语音

豆包AI

“豆包”是字节跳动公司基于云雀模型开发的 AI 工具,提供聊天机器人、写作助手以及英语学习助手等功能,它可以回答各种问题并进行对话,帮助人们获取信息。

Addsubtitle

Addsubtitle 是一款基于AI的在线视频编辑工具,支持多语言视频翻译、自动字幕生成与自定义样式设置,适用于全球市场推广和内容本地化。用户可实时编辑字幕并实现精准的唇音同步,同时提供语音克隆和水印去除功能,提升视频的国际化传播能力。

Weights

Weights 是一款基于人工智能技术的多媒体创作平台,支持语音翻唱、文字转语音、图片、视频、音乐等多种内容生成。用户可通过简单操作实现创意表达,并在社区中分享与交流。平台提供丰富的创作工具,适合不同层次的创作者,广泛应用于娱乐、教育、营销等多个领域。

FunClip

FunClip是一款由阿里巴巴达摩院通义实验室开发的开源、本地部署的视频剪辑工具。它主要通过自动化语音识别技术,帮助用户基于语音转文字的结果,选择特定文本片段或说话人进行视频剪辑。其特点包括高精度的中文ASR模型、热词定制化、说话人识别功能、Gradio交互界面,以及支持多段剪辑和自动生成SRT字幕文件。

MeloTTS

MeloTTS是一个高质量的多语言文本转语音(TTS)库,由MyShell AI开发。该工具支持多种语言的文本转语音任务,包括英语(含不同口音)、西班牙语、法语、中文、日语和韩语,并具备快速的语音合成速度。MeloTTS不仅支持中英混合发音,还易于安装和使用,适用于多种操作系统和环境。用户可以在GitHub和Hugging Face平台上获取和体验MeloTTS。

VoiceCraft

VoiceCraft是一款开源的神经编解码器语言模型,专攻零样本语音编辑和文本到语音(TTS)任务。它采用Transformer架构,通过token重排过程结合因果掩蔽和延迟叠加技术,实现在现有音频序列内高效生成自然的语音。VoiceCraft在多种口音、风格和噪声条件下表现出色,适用于有声读物制作、视频内容创作、播客音频编辑及多语言内容生产等场景。

Voice Engine

Voice Engine是由OpenAI开发的AI语音合成和声音克隆技术。该技术能够通过15秒的音频样本和文本输入生成自然语音。它已在OpenAI的文本到语音API和ChatGPT的语音功能中应用。Voice Engine广泛应用于教育、翻译、远程服务提供、支持言语残障者以及帮助恢复患者声音等方面。为了确保技术安全,OpenAI实施了严格的使用政策和安全措施。

Parler

Parler-TTS是一款由Hugging Face开发的开源文本到语音(TTS)模型,能够模仿特定说话者的风格,生成高质量、自然的语音。该模型采用轻量级设计,包括文本编码器、解码器和音频编解码器,通过整合文本描述和嵌入层,优化了语音生成过程。Parler-TTS的所有资源公开,促进了高质量、可控TTS模型的发展。此外,用户还可以根据需要对模型进行自定义训练和微调。

Universal

Universal-1是一款由AssemblyAI开发的多语言语音识别和转录模型,经过大量多语种音频数据训练,支持英语、西班牙语、法语和德语等。该模型在各种复杂环境中提供高精度的语音转文字服务,具备快速响应能力和改进的时间戳准确性。Universal-1在准确率、响应时间、时间戳估计和用户偏好等方面表现优异,适用于对话智能平台、AI记事本、创作者工具和远程医疗平台等多个应用场景。

VALL-E

VALL-E一种用于文本到语音合成 (TTS) 的语言建模方法。具体来说,我们使用从现成的神经音频编解码器模型派生的离散代码来训练神经编解码器语言模型(称为 VALL-E),并将 TTS 视为...