Diff

Diff-Instruct是一种先进的知识迁移方法，旨在通过从预训练的扩散模型中提取知识，指导其他生成模型的训练。该方法基于一种新颖的散度度量——积分Kullback-Leibler (IKL) 散度，专为扩散模型设计，通过计算扩散过程中KL散度的积分来比较分布。这种方法无需额外数据即可实现知识迁移，同时显著提升了生成模型的性能。Diff-Instruct因其通用性、高效性和在学术界的广泛认可而备受关注。