音频驱动

1. 首页
2. 音频驱动

JoyHallo

JoyHallo是一款由京东开源的AI数字人模型，专注于普通话语音到视频的转换，支持跨语言生成。它通过半解耦结构优化唇部同步效果，并结合特征嵌入和交叉注意力机制提升生成质量。JoyHallo适用于虚拟主播、在线教育、客户服务、娱乐产业等多个领域，能够显著提升内容创作效率并降低成本。

AI项目与工具 2025年06月12日 65 点赞 0 评论 490 浏览

Playmate

Playmate是由广州趣丸科技开发的人脸动画生成框架，基于3D隐式空间引导扩散模型和双阶段训练框架，能够根据音频和指令精准控制人物表情和头部姿态，生成高质量动态肖像视频。其支持情感控制、姿态控制和独立控制，可生成多种风格的动态肖像，适用于影视制作、游戏开发、虚拟现实、互动媒体及教育等多个领域。

AI项目与工具 2025年06月11日 88 点赞 0 评论 477 浏览

JoyVASA

JoyVASA是一个基于扩散模型的音频驱动数字人头项目，能够生成与音频同步的面部动态和头部运动。其主要功能包括唇形同步、表情控制及动物面部动画生成，支持多语言和跨物种动画化。项目采用两阶段训练方法，结合解耦面部表示与扩散模型技术，生成高质量动画视频，广泛应用于虚拟助手、娱乐媒体、教育、广告等多个领域。

AI项目与工具 2025年06月12日 17 点赞 0 评论 446 浏览

AniPortrait

AniPortrait是一款由腾讯开源的AI视频生成框架，通过音频和一张参考肖像图片生成高质量的动画。该框架包含两个核心模块：Audio2Lmk模块将音频转换为2D面部标记点，而Lmk2Video模块则基于这些标记点生成连贯且逼真的视频动画。AniPortrait以其高质量的视觉效果、时间一致性和灵活的编辑能力著称，能够精确捕捉面部表情和嘴唇动作。

AI项目与工具 2025年06月12日 68 点赞 0 评论 445 浏览

DanceFusion

DanceFusion是一款由清华大学开发的开源框架，专注于音频驱动的舞蹈动作生成与重建。它采用分层时空Transformer-VAE和扩散模型，能够处理不完整或嘈杂的数据，生成与音乐高度同步的逼真舞蹈动作。该工具支持多种应用场景，包括内容创作、虚拟现实、互动娱乐、舞蹈教育以及动画制作等，展现了其在多领域的应用价值。

AI项目与工具 2025年06月12日 86 点赞 0 评论 383 浏览

混元图生视频

混元图生视频是腾讯混元推出的开源图生视频模型，支持用户上传图片并输入描述生成5秒短视频，具备对口型、动作驱动和背景音效自动生成等功能。模型适用于多种风格与场景，参数量达130亿，已在腾讯云上线并开源，支持本地部署与定制开发，适用于创意视频、特效制作及动画开发等多个领域。

AI项目与工具 2025年06月12日 43 点赞 0 评论 380 浏览

Sonic

Sonic是由腾讯与浙江大学联合开发的音频驱动肖像动画框架，基于音频信号生成逼真面部表情和动作。它通过上下文增强音频学习和运动解耦控制器，提升唇部同步精度与运动多样性。Sonic在长视频生成中表现出色，具备高稳定性与自然连贯性，支持用户自定义参数。适用于虚拟现实、影视制作、在线教育、游戏开发和社交媒体等多个领域。

AI项目与工具 2025年06月12日 67 点赞 0 评论 353 浏览

Avatar IV

Avatar IV 是 HeyGen 推出的 AI 数字人模型，支持用户通过上传照片和语音快速生成逼真视频。该工具基于音频驱动的表情引擎，能精准捕捉语音中的语调、节奏和情感，生成自然流畅的面部表情和动作。操作简单，无需专业技能，适用于多种角色形象，涵盖社交媒体、企业营销、在线教育等多个领域，是高效内容创作的理想选择。

AI项目与工具 2025年06月11日 45 点赞 0 评论 350 浏览

EMAGE

EMAGE是一款基于音频输入生成全身手势的AI框架，可同步生成面部表情、肢体动作及整体运动。通过掩蔽音频手势变换器和多模块VQ-VAE建模，实现高质量、多样化的手势生成。适用于虚拟现实、动画制作、数字人交互等领域，提升虚拟角色表现力与交互自然度。

AI项目与工具 2025年06月12日 13 点赞 0 评论 341 浏览

PoseTalk

PoseTalk 是一款基于文本和音频驱动的开源工具，专注于生成自然且逼真的头部动画视频。它通过 Pose Latent Diffusion (PLD) 模型和级联网络实现唇部同步与运动细化，广泛应用于虚拟助手、在线教育和娱乐等领域，提供多样化的动画生成能力和高度精准的唇形同步效果。

AI项目与工具 2025年06月12日 53 点赞 0 评论 321 浏览