音频处理

Muyan

Muyan-TTS是一款面向播客场景的开源文本转语音工具,基于超10万小时播客数据训练,支持零样本语音合成与说话人适配,可在0.33秒内生成1秒音频,适合实时与长内容合成。支持本地部署与API调用,应用于播客、有声书、视频配音、AI角色及新闻播报等领域,兼具高效性与灵活性。

Stable Audio Open Small

Stable Audio Open Small 是由 Stability AI 与 Arm 联合开发的轻量级文本到音频生成模型,参数量降至 3.41 亿,适配移动设备和边缘计算场景。基于深度学习与模型压缩技术,支持快速生成音效、音乐片段等音频内容,适用于实时音频生成任务。具备高效运行、低功耗、多场景应用等特点,可用于音乐创作、游戏音效、视频配乐等领域。

CoGenAV

CoGenAV是一种先进的多模态学习模型,专注于音频和视觉信号的对齐与融合。通过对比特征对齐和生成文本预测的双重目标进行训练,利用同步音频、视频和文本数据,学习捕捉时间对应关系和语义信息。CoGenAV具备音频视觉语音识别、视觉语音识别、噪声环境下的语音处理、语音重建与增强、主动说话人检测等功能,适用于智能助手、视频内容分析、工业应用和医疗健康等多个场景。

OmniSync

OmniSync是由中国人民大学、快手科技和清华大学联合开发的通用对口型框架,基于扩散变换器实现视频中人物口型与语音的精准同步。它采用无掩码训练范式,直接编辑视频帧,支持无限时长推理,保持自然面部动态和身份一致性。通过渐进噪声初始化和动态时空分类器自由引导(DS-CFG)机制,提升音频条件下的口型同步效果。OmniSync适用于影视配音、虚拟现实、AI内容生成等多个场景。

PlayDiffusion

PlayDiffusion是Play AI推出的音频编辑模型,基于扩散模型技术实现音频的精细编辑和修复。它将音频编码为离散标记序列,通过掩码处理和去噪生成高质量音频,保持语音连贯性和自然性。支持局部编辑、高效文本到语音合成、动态语音修改等功能,具有非自回归特性,提升生成速度与质量。适用于配音纠错、播客剪辑、实时语音互动等场景。

MoonCast

MoonCast 是一个零样本播客生成系统,能够从纯文本源合成自然的播客风格语音。它采用长上下文语言模型和大规模语音数据训练,支持中文和英文,生成几分钟长的高质量播客音频。MoonCast 通过特定的LLM提示生成播客脚本,并利用语音合成模块转换为最终音频,具备长音频生成、增强自然性、多语言支持和零样本语音合成等功能。其技术原理包括多阶段训练、短段级别自回归音频重建和自发性增强,适用于内容创作、教

Adobe Premiere Pro

基于文本的AI视频编辑,支持语音转录功能, 自动生成文字稿,简化视频剪辑流程,像编辑文本文档一样编辑视频。

Cover AI

一款专业的AI封面生成工具,支持免费生成小红书封面、公众号封面、小说封面、红包封面、视频封面等多种类型的封面。

Krisp.ai

Krisp.ai是一个噪音消除的音频处理工具。可以帮助用户消除背景噪音和回声,提高语音通话的质量,还能利用AI将消除你的发音口音问题

分离人声AI

移除人声并隔离用强大的人工智能算法将声音从音乐中分离出来