音频

Audio

Audio-SDS是由NVIDIA研发的音频处理技术,基于文本提示引导音频生成,支持音效生成、音源分离、FM合成及语音增强等多种任务。该技术无需重新训练模型,即可将预训练音频扩散模型扩展为多功能工具,具备高效推理能力,适用于游戏、音乐制作、教育及智能家居等多个领域。

Muyan

Muyan-TTS是一款面向播客场景的开源文本转语音工具,基于超10万小时播客数据训练,支持零样本语音合成与说话人适配,可在0.33秒内生成1秒音频,适合实时与长内容合成。支持本地部署与API调用,应用于播客、有声书、视频配音、AI角色及新闻播报等领域,兼具高效性与灵活性。

AIShowX

AIShowX是一款多功能AI工具平台,支持文本转视频、图片转视频、视频增强、图像生成与风格转换等功能。用户可通过简单操作生成高质量视频和图像,适用于创作、影视、营销、教育及社交等多个领域。平台提供图像锐化、动画添加及音频处理等辅助功能,提升内容表现力与专业度。

Nooka

Nooka是一款基于AI技术的听书应用,提供全球非虚构类书籍的20分钟音频摘要,适合碎片化时间学习。用户可随时提问并获得AI即时回答,实现深度互动。应用支持多语言字幕、音频剪辑分享及社区交流,适用于通勤、运动、家务等多种场景,提升学习效率与趣味性。

Stable Audio Open Small

Stable Audio Open Small 是由 Stability AI 与 Arm 联合开发的轻量级文本到音频生成模型,参数量降至 3.41 亿,适配移动设备和边缘计算场景。基于深度学习与模型压缩技术,支持快速生成音效、音乐片段等音频内容,适用于实时音频生成任务。具备高效运行、低功耗、多场景应用等特点,可用于音乐创作、游戏音效、视频配乐等领域。

SeeMuseums

SeeMuseums 是一款基于AI的智能导览工具,支持多语言、智能推荐和AI音频讲解,帮助用户个性化探索博物馆内容。用户可通过提问获取详细解读,记录笔记并保存收藏,适用于艺术学习、文化探索和教育辅助等多种场景,提升参观体验与知识获取效率。

Gemma 3n

Gemma 3n 是谷歌 I/O 开发者大会推出的端侧多模态 AI 模型,基于 Gemini Nano 架构,采用逐层嵌入技术,将内存占用压缩至 2-4B 参数模型水平。支持文本、图像、短视频和音频输入,可生成结构化文本输出,并具备音频转录、情感分析等功能。可在本地设备运行,响应时间低至 50 毫秒,适用于语音助手、内容生成和学术任务定制。

CoGenAV

CoGenAV是一种先进的多模态学习模型,专注于音频和视觉信号的对齐与融合。通过对比特征对齐和生成文本预测的双重目标进行训练,利用同步音频、视频和文本数据,学习捕捉时间对应关系和语义信息。CoGenAV具备音频视觉语音识别、视觉语音识别、噪声环境下的语音处理、语音重建与增强、主动说话人检测等功能,适用于智能助手、视频内容分析、工业应用和医疗健康等多个场景。

OmniSync

OmniSync是由中国人民大学、快手科技和清华大学联合开发的通用对口型框架,基于扩散变换器实现视频中人物口型与语音的精准同步。它采用无掩码训练范式,直接编辑视频帧,支持无限时长推理,保持自然面部动态和身份一致性。通过渐进噪声初始化和动态时空分类器自由引导(DS-CFG)机制,提升音频条件下的口型同步效果。OmniSync适用于影视配音、虚拟现实、AI内容生成等多个场景。

PlayDiffusion

PlayDiffusion是Play AI推出的音频编辑模型,基于扩散模型技术实现音频的精细编辑和修复。它将音频编码为离散标记序列,通过掩码处理和去噪生成高质量音频,保持语音连贯性和自然性。支持局部编辑、高效文本到语音合成、动态语音修改等功能,具有非自回归特性,提升生成速度与质量。适用于配音纠错、播客剪辑、实时语音互动等场景。