语音

Lobe Chat

Lobe Chat 是一个免费开源的高性能 AI 聊天机器人框架,具备多种功能,如 GPT-4 视觉识别、文字语音转换、灵活的插件系统及个性化主题模式。用户能够轻松部署和扩展功能,适用于各种场景。该框架已在 GitHub 上获得近 14K 星标,展示了其受欢迎程度和实用性。

HeyGen

HeyGen是一款AI数字人视频创作平台,具备即时数字人视频制作、多语言翻译配音、语音克隆、文本转语音等功能。它提供了丰富的视频模板库和强大的素材库,支持用户轻松创建高质量的数字人视频。HeyGen适用于多种场景,包括讲解说明、市场营销和企业培训,助力用户提高工作效率和视频质量。

OpenVoice

OpenVoice是一款由MyShell开发的免费开源AI语音克隆工具,其主要功能包括精准的音色和音调克隆及灵活的语音风格控制。该工具能够捕捉并复制不同语言或口音的音色,生成自然流畅的语音,并支持零样本跨语言语音克隆。开发者可以通过GitHub项目地址进行本地安装和运行,也可以通过Lepton AI、MyShell或HuggingFace提供的在线演示体验该工具。

AniTalker

AniTalker是一款先进的AI工具,能将单张静态人像与音频同步转化为生动的动画对话视频。它通过自监督学习捕捉面部动态,采用通用运动表示和身份解耦技术减少对标记数据的依赖,同时结合扩散模型和方差适配器生成多样且可控的面部动画。AniTalker支持视频驱动和语音驱动两种方式,并具备实时控制动画生成的能力。

Toucan TTS

Toucan TTS是一款由德国斯图加特大学自然语言处理研究所开发的文本到语音合成工具箱。它基于Python和PyTorch构建,支持超过7000种语言及多种方言和变体。主要功能包括多说话人语音合成、语音风格克隆、人机交互编辑、语音参数调整以及发音清晰度和性别特征调整。该工具箱适用于语音模型教学、文字朗读和多语言应用开发等场景,并提供在线交互式演示功能,方便用户快速理解和使用。

Fish Speech

Fish Speech是一款开源的文本到语音(TTS)工具,支持中文、英文和日文。它通过大约15万小时的多语种数据训练,实现了接近人类水平的语音合成效果。该工具的特点包括低显存需求(仅需4GB)、快速推理速度、高自定义性和灵活性。Fish Speech支持多种语音生成模型,如VITS2、Bert-VITS2等,适用于智能助手、自动客服、语言学习等多个领域。

Moshi

Moshi是一款由法国Kyutai实验室开发的端到端实时音频多模态AI模型,具备听、说、看的能力,并能模拟70种不同的情绪和风格进行交流。Moshi具有多模态交互、情绪和风格表达、实时响应低延迟、语音理解与生成、文本和音频混合预训练以及本地设备运行等特点。它支持英语和法语,主要应用于虚拟助手、客户服务、语言学习、内容创作、辅助残障人士、研究和开发、娱乐和游戏等领域。

FunAudioLLM

FunAudioLLM是由阿里巴巴通义实验室开发的开源语音大模型项目,包含SenseVoice和CosyVoice两个子模型。SenseVoice擅长多语言语音识别和情感辨识,支持超过50种语言;CosyVoice则专注于自然语音生成,支持多种语言、音色和情感控制。该项目适用于多语言翻译、情感语音对话等场景,其相关模型和代码已公开发布。

盘盘单词

盘盘单词是一款由百度网盘推出的AI英语学习微信小程序,它运用生成式AI技术分析用户照片,提取关键元素并生成相关英语单词和例句,帮助用户加深记忆。该程序提供了个性化学习路径、名人语音智能体和智能复习计划等功能,用户的学习资料存储在云端,不占用手机内存。盘盘单词适用于希望提高英语水平的各类用户,包括学生、职场人士、语言爱好者及备考人员。

Get笔记

Get笔记是一款基于AI的实时语音转文字工具,能够将语音高效转化为文本,并提供文本润色服务以优化笔记内容。其主要功能包括实时语音转写、文本智能润色、自动标题生成和录音与文本保存。这款工具界面简洁、操作简便,适用于多种场景,如会议记录、学习笔记、采访记录、灵感捕捉和语言学习等,显著提升了记录效率。