语音

NotebookMLX

NotebookMLX 是一款基于 MLX 技术开发的开源工具,支持将 PDF 文档转换为音频播客。它通过 PDF 预处理、播客脚本生成、文本优化以及文本转语音等功能,实现了从 PDF 文件到高质量音频内容的全流程自动化处理,适用于教育、播客创作、有声书制作等多个领域,显著提升了信息传播效率和用户体验。

PDF2Audio

PDF2Audio 是一款开源工具,支持将 PDF 文档转换为音频内容,适用于播客制作、教育、业务演示等多个场景。其核心功能包括 PDF 转文本、生成播客脚本、文本转语音转换、多语言支持及高级编辑功能。用户可通过自定义选项调整文本生成模型、语音风格等,支持批量处理和多种模板适配,方便用户根据需求生成高质量音频。

ebook2audiobookXTTS

ebook2audiobookXTTS是一款开源AI工具,可将EPUB、PDF、MOBI等多种电子书格式转换为高质量的有声书(.m4b)。通过集成Calibre和Coqui XTTS技术,支持多语言处理和章节识别,同时保留电子书元数据,适用于个人学习、教育培训、企业培训以及公共图书馆等场景,帮助用户高效获取知识。

Mini

Mini-Omni 是一个开源的端到端语音对话模型,具备实时语音输入和输出的能力,能在对话中实现“边思考边说话”的功能。模型设计无需额外的自动语音识别(ASR)或文本到语音(TTS)系统,直接进行语音到语音的对话。Mini-Omni 采用文本指导的语音生成方法,通过批量并行策略提高性能,同时保持了原始模型的语言能力。它支持实时语音交互、文本和语音并行生成、跨模态理解等功能,适用于智能助手、客户服务

LatentSync

LatentSync是由字节跳动与北京交通大学联合研发的端到端唇形同步框架,基于音频条件的潜在扩散模型,无需中间3D或2D表示,可生成高分辨率、动态逼真的唇同步视频。其核心技术包括Temporal Representation Alignment (TREPA)方法,提升视频时间一致性,并结合SyncNet监督机制确保唇部动作准确。适用于影视制作、教育、广告、远程会议及游戏开发等多个领域。

Steve AI

Steve AI 是一款基于人工智能技术的云端视频生成平台,支持文本、博客、网页或音频内容转化为高质量视频和动画。它提供文本到视频、AI语音到视频、动画AI头像视频等多种功能,拥有超过300个AI头像及庞大的媒体库,同时配备40多种视频编辑工具。用户无需专业技能即可快速制作出专业级视频内容,广泛适用于社交媒体营销、教育培训、企业培训、内容营销和个人品牌建设等领域。

MarkItDown

MarkItDown是一款由微软推出的开源文档转换工具,支持多种文件格式(如PDF、Office文档、图像、音频等)转换为Markdown格式。它具备OCR文字识别、语音转文字、元数据提取等功能,适用于文档归档、内容发布、数据挖掘、学术研究等多个场景,旨在简化文件处理流程,提升工作效率。通过提供简单易用的API接口,MarkItDown成为开发者友好型工具。

FakeYou | 语音克隆和仿声

FakeYou 是一款功能强大的文本到语音工具,可以帮助用户生成个性化的语音内容,同时支持实时语音克隆和仿声模拟体验。

Dolphin

Dolphin是由清华大学与海天瑞声联合开发的面向东方语言的语音识别大模型,支持40种语言及22种中文方言,具备高精度语音转文字能力。采用CTC-Attention架构,结合E-Branchformer和Transformer技术,提升识别效率与准确性。模型开源,支持自定义语言与地区设置,适用于会议记录、语音输入、智能助手等多种场景。

VALL-E

VALL-E一种用于文本到语音合成 (TTS) 的语言建模方法。具体来说,我们使用从现成的神经音频编解码器模型派生的离散代码来训练神经编解码器语言模型(称为 VALL-E),并将 TTS 视为...