GPDiT

GPDiT是什么

GPDiT（Generative Pre-trained Autoregressive Diffusion Transformer）是由北京大学、清华大学、StepFun公司以及中国科学技术大学联合开发的一种新型视频生成模型。该模型结合了扩散模型与自回归模型的优势，通过自回归方式预测未来的潜在帧，从而自然地建模运动动态和语义一致性。GPDiT引入了轻量级因果注意力机制，以降低计算成本，并采用无参数的旋转基时间条件策略，有效编码时间信息。该模型在视频生成、视频表示学习及少样本学习任务中表现优异，展现出较强的多功能性和适应性。

GPDiT的主要功能

• 高质量视频生成：能够生成具有高时间一致性和运动连贯性的长序列视频。
• 视频表示学习：基于自回归建模与扩散过程，学习视频的语义与动态表示，适用于多种下游任务。
• 少样本学习：具备快速适应多种视频处理任务的能力，如风格转换、边缘检测等。
• 多任务学习：支持包括灰度转换、深度估计、人物检测在内的多种视频处理任务。

GPDiT的技术原理

• 自回归扩散框架：通过自回归方式预测未来潜在帧，实现对运动动态和语义一致性的自然建模。
• 轻量级因果注意力：引入轻量级因果注意力机制，减少训练期间的计算负担，同时保持生成质量。
• 旋转基时间条件机制：采用无参数的旋转基时间条件策略，将噪声注入过程解释为复平面上的旋转，提升时间信息编码效率。
• 连续潜在空间：在连续潜在空间中进行建模，增强了视频生成的质量与表示能力。

GPDiT的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2505.07344

GPDiT的应用场景

• 视频创作：可用于广告、影视、动画等内容制作。
• 视频编辑：支持风格转换、色彩调整、分辨率提升等操作。
• 少样本学习：可快速适应人物检测、边缘检测等任务。
• 内容理解：实现视频内容的自动标注、分类与检索。
• 创意生成：为艺术家和设计师提供灵感，生成艺术风格视频。