VideoVAE+

VideoVAE+是由香港科技大学团队开发的一种先进跨模态视频变分自编码器，其核心在于引入了时空分离压缩机制和文本指导功能。该模型在大幅运动视频的高效压缩与精准重建方面表现突出，同时保持了较高的时间一致性与运动恢复能力。与现有模型相比，VideoVAE+在视频重建质量上实现了显著提升，成为新的行业基准。 模型采用了多项创新技术，包括时序感知的空间压缩方法、轻量级运动压缩模型以及跨模态注意力机制。通过将视频视觉特征分割为不同尺寸的块状结构，并结合文本嵌入的语义指导，VideoVAE+在图像与视频重建任务中展现出卓越的性能。此外，模型在图像与视频数据上的联合训练进一步提升了其多任务适应能力。 GitHub和arXiv提供了项目的详细资源与技术文档，便于研究者深入探索。