SenseVoice

SenseVoice，一款由阿里通义实验室发布的FunAudioLLM框架多语言音频基础模型，专注于高精度多语言语音识别、语音情感识别和音频事件检测。SenseVoice具备多语种、混合语言、音色和情感控制能力，在零样本语音生成、跨语言语音克隆和指令跟踪方面表现出色。

FunAudioLLM结合先进的语音理解和生成技术，能够处理复杂的语音任务，并在多种语言环境中实现自然交流。

SenseVoice可应用于语音翻译、情感语音聊天、互动播客和富有表现力的有声读物朗读等。

SenseVoice具备音频理解能力，包括语音识别（ASR）、语种识别（LID）、语音情感识别（SER）和声学事件分类（AEC）或声学事件检测（AED）。

SenseVoice性能：

• 多语言语音识别：经过超过40万小时的数据训练，支持50多种语言，识别性能超越Whisper模型。

• 丰富转录：

  拥有优秀的语音情感识别能力，在测试数据上达到并超越当前最佳的情感识别模型的效果。

  提供声音事件检测能力，支持bgm、掌声、笑声、哭泣、咳嗽、打喷嚏等各种常见人机交互事件的检测。

• 高效推理：SenseVoice-Small 模型采用非自回归端到端框架，从而实现极低的推理延迟。处理 10 秒的音频仅需 70ms，比 Whisper-Large 快 15 倍。

• 便捷的Finetuning：提供便捷的Finetuning脚本和策略，让用户根据业务场景轻松解决长尾样本问题。

• 服务部署：提供服务部署管道，支持多并发请求，客户端语言包括Python、C++、HTML、Java、C#等。

在AISHELL-1、AISHELL-2、Wenetspeech、Librispeech和Common Voice上测试了多语言语音识别性能和推理效率，中文和粤语中，SenseVoice-Small表现出色。

GitHub：https://github.com/FunAudioLLM/SenseVoice