ExVideo

ExVideo是一种由阿里巴巴和华东师范大学的研究人员共同开发的视频合成模型后调优技术。该技术能够扩大现有视频合成模型的时间尺度，生成长达128帧的连贯视频，同时保持原始模型的生成能力。ExVideo通过优化3D卷积、时间注意力和位置嵌入等时间模块，使模型能够处理更长时间跨度的内容，且训练成本较低，特别适用于计算资源有限的情况。 ExVideo的核心优势在于其后调优策略，它通过对Stable Video Diffusion等模型的特定部分进行再训练，生成更长的视频，达到128帧或更多，同时保持了模型对各种输入的泛化能力。此外，ExVideo采用了参数高效的后调优方法，显著减少了所需参数数量和计算资源，使模型扩展更加高效和实用。在扩展视频长度的同时，ExVideo也注重保持视频的质量，生成的视频不仅在时间上有所延长，而且在视觉连贯性、清晰度和整体质量上也能满足高标准。 ExVideo的设计考虑到了与多种视频合成模型的兼容性，使其能够广泛应用于不同的视频生成任务。无论是3D卷积、时间注意力还是位置嵌入，ExVideo都能够提供相应的扩展策略，以适应不同的模型架构。