音频驱动

1. 首页
2. 音频驱动

JoyVASA

JoyVASA是一个基于扩散模型的音频驱动数字人头项目，能够生成与音频同步的面部动态和头部运动。其主要功能包括唇形同步、表情控制及动物面部动画生成，支持多语言和跨物种动画化。项目采用两阶段训练方法，结合解耦面部表示与扩散模型技术，生成高质量动画视频，广泛应用于虚拟助手、娱乐媒体、教育、广告等多个领域。

AI项目与工具 2025年06月12日 17 点赞 0 评论 446 浏览

EchoMimicV2

EchoMimicV2是一款由阿里巴巴蚂蚁集团研发的AI数字人动画生成工具，能够基于参考图片、音频剪辑及手部姿势序列生成高质量的半身动画视频。它支持多语言（中英双语）输入，并通过音频-姿势动态协调、头部局部注意力及特定阶段去噪损失等技术手段显著提高了动画的真实度与细节表现力，适用于虚拟主播、在线教育、娱乐游戏等多个领域。

AI项目与工具 2025年06月12日 17 点赞 0 评论 245 浏览

FLOAT

FLOAT是一款基于音频驱动的虚拟人像生成模型，利用运动潜在空间和流匹配技术，实现时间一致性视频生成。它支持情感增强，生成自然且富有表现力的虚拟人物，广泛应用于虚拟主播、视频会议、社交媒体、游戏以及电影制作等多个领域，同时具备高效的采样和生成能力。

AI项目与工具 2025年06月12日 18 点赞 0 评论 267 浏览

INFP

INFP是一款基于音频驱动的头部生成框架，专为双人对话设计，具备自动角色转换功能。它通过两个阶段实现头部生成：基于动作的头部模仿和音频引导的动作生成。同时，INFP提出了大规模双人对话数据集DyConv，推动了相关领域的研究进展。该工具适用于视频会议、虚拟助手、教育培训、客户服务等多个场景，支持实时互动并可调节生成风格。

AI项目与工具 2025年06月12日 62 点赞 0 评论 209 浏览

EDTalk

EDTalk是一款基于音频驱动的唇部同步模型，支持嘴型、头部姿态及情感表情的独立操控。用户可通过上传图片、音频和参考视频生成具有唇形同步和情感表达的动态人脸视频，广泛应用于教育、影视后期、虚拟现实等领域。其高效解耦机制和轻量化设计使其易于操作且资源友好。

AI项目与工具 2025年06月12日 93 点赞 0 评论 120 浏览

EMO2

EMO2是一种由阿里巴巴智能计算研究院开发的音频驱动头像视频生成技术，通过音频输入和静态人像照片生成高质量、富有表现力的动态视频。其核心技术包括音频与手部动作的协同建模、扩散模型生成视频帧，以及高精度音频同步。该工具支持多样化动作生成，适用于虚拟现实、动画制作和跨语言内容创作等场景，具备自然流畅的视觉效果和丰富的应用场景。

AI项目与工具 2025年06月12日 62 点赞 0 评论 109 浏览

SyncAnimation

SyncAnimation是一款基于音频驱动的实时动画生成框架，能够生成与音频同步的上半身姿态和面部表情，包括嘴唇动作。采用NeRF技术，结合音频到姿态和表情的同步模块，实现实时渲染与高精度动画生成。支持多种推理方式，具备高同步性和自然表现力，适用于虚拟主播、视频会议、动画制作、游戏开发及智能客服等多个领域。

AI项目与工具 2025年06月12日 41 点赞 0 评论 315 浏览

OmniHuman

OmniHuman是字节跳动推出的多模态人类视频生成框架，基于单张图像和运动信号生成高逼真视频。支持音频、姿势及组合驱动，适用于多种图像比例和风格。采用混合训练策略和扩散变换器架构，提升生成效果与稳定性，广泛应用于影视、游戏、教育、广告等领域。

AI项目与工具 2025年06月12日 43 点赞 0 评论 228 浏览

JoyGen

JoyGen是由京东科技与香港大学联合开发的音频驱动型3D说话人脸视频生成框架，能够实现唇部动作与音频信号的精准同步，并提供高质量的视觉效果。该工具采用单步UNet架构进行高效视频编辑，基于130小时中文视频数据集训练，在唇音同步和视觉质量方面表现优异。适用于虚拟主播、动画制作、在线教育及多语言视频生成等多个领域，为视频内容创作提供了创新解决方案。

AI项目与工具 2025年06月12日 78 点赞 0 评论 134 浏览

EMAGE

EMAGE是一款基于音频输入生成全身手势的AI框架，可同步生成面部表情、肢体动作及整体运动。通过掩蔽音频手势变换器和多模块VQ-VAE建模，实现高质量、多样化的手势生成。适用于虚拟现实、动画制作、数字人交互等领域，提升虚拟角色表现力与交互自然度。

AI项目与工具 2025年06月12日 13 点赞 0 评论 341 浏览