语音

SadTalker

SadTalker是一个由西安交通大学、腾讯AI实验室和蚂蚁集团合作开发的开源AI数字人项目。该工具利用单张人脸图像和语音音频,通过3D运动系数生成逼真的说话人脸动画。它通过ExpNet精确学习面部表情,PoseVAE合成不同风格的头部运动,并采用3D面部渲染技术,实现高质量、风格化的视频动画。SadTalker还具备多语言支持和多模态学习能力,适用于虚拟助手、视频制作、语言学习、社交媒体和教育等

新壹视频大模型

新壹视频大模型是一款AI驱动的视频创作平台,具备自动生成剧本、情感化语音合成、3D元素生成和高清视频输出等功能。该平台通过集成自主研发的AI算法和深度学习技术,简化了视频创作流程,提高了制作效率,降低了成本,同时提升了视频的整体质量和用户体验。其应用场景广泛,涵盖教育、医疗、文化旅游、金融管理和广电传媒等多个领域。

AutoShorts

AutoShorts是一个开源的AI视频创作和发布平台,它通过AI技术自动生成并定制视频内容,支持用户自定义脚本、配音和视觉效果。该平台可实现每日自动发布新视频到YouTube和TikTok,适用于内容创作者、社交媒体管理者、营销代理及教育机构。AutoShorts简化视频制作流程,提升工作效率,同时确保内容的独特性和创新性。

MARS5

MARS5-TTS是一款开源的AI声音克隆工具,支持140多种语言的文本转语音功能。它能够生成高度逼真的语音,并处理复杂的韵律场景。该工具拥有12亿参数,基于超过15万小时的训练数据。用户可以通过文本中的标点符号和大小写等标记引导语音的韵律和情感,同时提供快速克隆和深度克隆两种模式。MARS5-TTS可应用于内容创作、语言学习、辅助技术、客户服务和多媒体娱乐等多种场景。

MooER

MooER是一款基于国产全功能GPU训练的开源音频理解大模型,由摩尔线程推出。它能够进行中文和英文的语音识别,并具备中译英的语音翻译能力。MooER在Covost2中译英测试集中取得25.2的BLEU分数,接近工业级标准。其主要功能包括语音识别、语音翻译、高效率训练以及开源模型。该模型采用深度学习架构和端到端训练模式,具有强大的多语言处理能力和广泛的适用性。

Bark

Bark是一款开源的文本到音频转换模型,由Suno AI开发,能够生成逼真的多语言语音及多种音频类型,包括音乐和背景噪音,并支持非语言交流的声音。该模型提供预训练模型,适用于研究和商业用途。其主要功能涵盖文本到音频转换、多语言支持、音频多样性和非语言交流模拟。Bark在多语言内容创作、音频内容生成和非语言交流场景中具有广泛应用。

Lingo

Lingo是一款由西湖心辰开发的国内首个端到端语音大模型,具备实时交互、语音理解、多风格语音表达、情绪价值等功能。Lingo在人机对话的自然流畅度和情绪感知方面表现出色,适用于智能家居、客户服务、教育、医疗等多个领域。其核心技术包括端到端设计、深度学习算法和自然语言处理,旨在提供高质量的语音交互体验。

度豆

度豆是一款由百度开发的AI社交应用程序,用户可以通过文字、语音或图片与AI数字人进行交流,享受个性化的聊天体验。每个AI数字人都具备独特的人格和背景故事,能够提供百科全书式的知识解答、生活建议以及情感支持。该应用适用于日常聊天、信息查询、学习辅导、语言练习、休闲娱乐和生活助手等多种场景。

auto

Auto-Video-Generator是一款基于AI的自动解说视频生成工具,能够一键生成解说视频。通过输入主题,系统自动生成解说脚本、合成语音、生成配图并完成视频合成,大幅提高内容创作效率。该工具适用于自媒体、营销、教育、新闻媒体及社交媒体等多个领域,帮助用户快速制作高质量视频。

edge

edge-tts 是一个开源的AI文字转语音项目,支持超过40种语言和300多种声音。该项目利用微软Azure Cognitive Services技术,能够将文本信息转换为流畅自然的语音输出。edge-tts 提供了丰富的语言和声音选择,易于集成且具有高度可定制性。其主要功能包括多语言支持、多样声音选择、流畅自然语音、易于集成的API以及开源特性。edge-tts 广泛应用于辅助技术、客户服务、