OmniHuman

OmniHuman是由字节跳动开发的端到端多模态条件化人类视频生成框架。该系统能够根据单张人物图像及运动信号（如音频、视频或两者结合）生成高质量的人类视频内容。通过多模态运动条件混合训练策略，OmniHuman有效解决了因高质量数据不足导致的性能限制，支持多种图像比例和风格输入，包括肖像、半身和全身图像，并能适应不同场景需求。 OmniHuman在歌唱、对话、手势处理等方面表现优异，具备多样化的视觉与音频风格支持，同时兼容音频、视频及组合驱动方式，可生成高逼真度的视频内容。其技术核心包括混合条件训练策略、扩散变换器架构以及参考条件处理机制，确保生成视频在动作自然性、时间连贯性和身份一致性方面达到较高水平。 项目提供详细的文档和技术论文，适用于影视制作、游戏开发、教育、广告及内容创作等多个领域，为视频生成提供了高效且灵活的解决方案。