语音

NotebookMLX

NotebookMLX 是一款基于 MLX 技术开发的开源工具,支持将 PDF 文档转换为音频播客。它通过 PDF 预处理、播客脚本生成、文本优化以及文本转语音等功能,实现了从 PDF 文件到高质量音频内容的全流程自动化处理,适用于教育、播客创作、有声书制作等多个领域,显著提升了信息传播效率和用户体验。

Dolphin

Dolphin是由清华大学与海天瑞声联合开发的面向东方语言的语音识别大模型,支持40种语言及22种中文方言,具备高精度语音转文字能力。采用CTC-Attention架构,结合E-Branchformer和Transformer技术,提升识别效率与准确性。模型开源,支持自定义语言与地区设置,适用于会议记录、语音输入、智能助手等多种场景。

Clipchamp

Clipchamp,可帮助你创作内容的智能工具,有自动生成字幕、文本转语音、调整视频大小等功能,现在是Microsoft旗下公司。

MinMo

MinMo是阿里巴巴通义实验室推出的多模态语音交互大模型,具备高精度语音识别与生成能力。支持情感表达、方言转换、音色模仿及全双工交互,适用于智能客服、教育、医疗等多个领域,提升人机对话的自然度与效率。

DeepL Voice

DeepL Voice是一款由DeepL推出的即时语音翻译服务,分为DeepL Voice for Meetings和DeepL Voice for Conversations两大模块。前者针对虚拟会议设计,支持实时字幕生成和跨语言协作,兼容超过30种语言并集成Microsoft Teams;后者专注于移动设备上的面对面语音翻译。凭借其低延迟、高性能和高安全性(ISO 27001认证),DeepL

FakeYou | 语音克隆和仿声

FakeYou 是一款功能强大的文本到语音工具,可以帮助用户生成个性化的语音内容,同时支持实时语音克隆和仿声模拟体验。

Sketch2Sound

Sketch2Sound是一种由Adobe研究院与西北大学联合开发的AI音频生成技术,通过提取响度、亮度和音高概率等控制信号,结合文本提示生成高质量音效。其轻量化设计使得模型易于适配多种文本到音频框架,同时赋予声音设计师更强的表达力与可控性,广泛适用于电影、游戏、音乐制作及教育等多个领域。

HoneyDo

一款通过语音指令简化购物体验的语音控制购物清单助手。它还提供了一个基于人工智能的“拍照识别”功能,可以从拍摄的餐食或食品储藏处的照片中识别并列出食材清单。

LatentSync

LatentSync是由字节跳动与北京交通大学联合研发的端到端唇形同步框架,基于音频条件的潜在扩散模型,无需中间3D或2D表示,可生成高分辨率、动态逼真的唇同步视频。其核心技术包括Temporal Representation Alignment (TREPA)方法,提升视频时间一致性,并结合SyncNet监督机制确保唇部动作准确。适用于影视制作、教育、广告、远程会议及游戏开发等多个领域。

Gemini Live

Gemini Live是一款由谷歌开发的智能语音助手,拥有自然语言理解和多模态识别能力,支持语音、图像和视频交互。其主要功能包括自然语言对话、多模态识别、个性化语音选择、任务自动化以及智能打断和续接。此外,Gemini Live还与谷歌的原生应用深度集成,提升用户体验。目标用户包括商务人士、技术探索者、多语言用户、创意人士和老年人。