Hallo3

Hallo3简介

Hallo3是由复旦大学与百度公司联合研发的一种基于扩散变换器网络（Diffusion Transformer Networks）的肖像图像动画生成技术，能够生成高度动态且逼真的视频内容。该技术依托于预训练的变换器视频生成模型，有效应对非正面视角、动态对象渲染及沉浸式背景生成等挑战。Hallo3通过引入身份参考网络确保面部特征在视频序列中保持一致，并结合语音音频条件和运动帧机制，实现由语音驱动的连续视频生成。实验结果表明，Hallo3在生成多角度、复杂场景下的真实肖像动画方面表现优异。

Hallo3的主要功能

• 多视角动画生成：支持从不同角度（如正面、侧面、俯视或低角度）生成肖像动画，突破传统方法对正面视角的依赖。
• 动态对象渲染：能够处理人物周围动态物体的动画效果，如手持设备或紧密贴合物品的运动。
• 沉浸式背景生成：生成具有动态效果的背景，如篝火、街道等，增强视频的真实感和沉浸体验。
• 身份一致性保持：在视频序列中持续维持肖像的身份特征，确保长时间动画的一致性。
• 语音驱动的动画：根据语音音频生成同步的面部表情和嘴唇动作，提升动画的自然度和真实感。

Hallo3的技术原理

• 预训练的变换器视频生成模型：
  • 基础架构：采用CogVideoX作为基础架构，结合3D变分自编码器（VAE）压缩视频数据，利用专家变换器网络进行处理。
  • 条件机制：引入文本提示、语音音频条件和身份外观条件三种机制，通过交叉注意力和自适应层归一化整合信息。
• 身份参考网络：
  • 3D VAE和变换器层：使用因果3D VAE和42层变换器层提取并嵌入身份特征，确保面部特征在长时间序列中的稳定性。
  • 特征融合：将参考网络提取的视觉特征与去噪网络特征融合，提升身份一致性和连贯性。
• 语音音频条件：
  • 音频嵌入：通过wav2vec框架提取音频特征，生成适合模型输入的表示。
  • 交叉注意力机制：在去噪过程中将音频嵌入与潜在编码交互，提高生成内容的相关性。
• 视频外推：通过运动帧作为条件信息，实现长视频的连续生成。
• 训练和推理：
  • 训练过程：分为两个阶段，先训练身份一致性，再扩展至语音驱动生成。
  • 推理过程：输入包括参考图像、音频、文本和运动帧，输出高质量视频。

Hallo3的项目资源

• 项目官网：https://fudan-generative-vision.github.io/hallo3
• GitHub仓库：https://github.com/fudan-generative-vision/hallo3
• HuggingFace模型库：https://huggingface.co/fudan-generative-ai/hallo3
• arXiv技术论文：https://arxiv.org/pdf/2412.00733

Hallo3的应用场景

• 游戏开发：用于生成游戏角色的动态肖像动画，提升角色表现力和玩家体验。
• 电影制作：生成高真实感的角色动画，增强影片的视觉冲击力。
• 社交媒体：为用户提供动态头像，增强个性化表达。
• 在线教育：生成虚拟讲师动画，提升课程互动性和吸引力。
• 虚拟现实和增强现实：用于生成逼真虚拟角色，增强用户沉浸感。