VACE

VACE是什么

VACE（Video Creation and Editing）是由阿里巴巴通义实验室开发的一站式视频生成与编辑框架。该框架将多种视频任务，如参考视频生成、视频到视频编辑、遮罩编辑等，整合至统一模型中，从而提升内容创作和编辑的效率。其核心技术为Video Condition Unit（VCU），能够将文本、图像、视频和遮罩等多种输入模态整合为统一条件单元，支持任务间的灵活组合。开源版本Wan2.1-VACE-1.3B支持480P分辨率，而Wan2.1-VACE-14B则支持480P和720P。实验表明，VACE在多个任务中表现优异，具备广泛的应用潜力。

VACE的主要功能

• 文本到视频生成：根据文本描述生成视频内容。
• 参考到视频生成：结合文本和参考图像生成视频。
• 视频扩展：基于现有视频片段生成新的开头或结尾。
• 视频到视频编辑：对输入视频进行风格转换，如色彩化、风格化处理。
• 遮罩视频编辑：在指定区域进行修复或扩展操作。
• 主体移除与重建：去除视频中的特定对象并填充背景。
• 任务组合与创新：支持多任务组合，例如参考生成+主体替换、姿态控制+视频扩展等，实现更丰富的创作可能。

VACE的技术原理

• Video Condition Unit（VCU）：作为核心输入接口，整合多种模态输入（如文本、图像、视频、遮罩），支持任务灵活组合。
• Context Adapter结构：通过注入不同任务的概念（如编辑区域、参考内容），提升模型对任务需求的适应性。
• 扩散模型：基于扩散模型（如Diffusion Transformer）生成高质量视频内容。
• 多模态输入处理：支持文本、图像、视频和遮罩等多种输入，通过编码器映射到统一特征空间。
• 训练与优化策略：采用逐步训练方式，从基础任务过渡到复杂任务，支持全模型微调与上下文适配器微调。

VACE的项目地址

• 项目官网：https://ali-vilab.github.io/VACE-Page/
• GitHub仓库：https://github.com/ali-vilab/VACE
• HuggingFace模型库：https://huggingface.co/collections/ali-vilab/vace
• arXiv技术论文：https://arxiv.org/pdf/2503.07598

VACE的应用场景

• 创意视频生成：根据文本或图像快速生成广告、动画等内容。
• 视频修复与增强：修复老视频或提升画面质量。
• 高效视频编辑：完成主体替换、动画添加等复杂操作。
• 视频扩展：为短视频生成新片段以延长内容。
• 互动视频创作：根据用户输入（如姿态、草图）生成个性化视频。