Denoising Diffusion Probabilistic Models
Jonathan Ho, Ajay Jain and Pieter Abbeel | https://arxiv.org/abs/2006.11239
0 综观
不同于 VAE 等等的一个隐变量空间的生成模型,DDPM 尝试用多步编码/解码,或是加噪/去噪方式生成数据。它的每一步可以视为是一个去噪自编码器(Denoising Autoencoder),而其采样(生成)过程通过与加噪过程的 Markov 链"共用",并通过预测加噪过程中的随机噪声实现加噪过程的 "反转",并添上 Langevin 动力学的随机噪声实现对分布的采样。与正常的 Langevin 动力学不同的是,从第
步到
步,我们认为其在尝试适配一个分布
过程中,只做了一次 Langevin 动力学的迭代。

1 加噪过程的建模
首先对于加噪过程,我们有一列噪声强度
,然后按照
来进行:
这给出了加噪过程中每一步得到的
更加便捷的表示,对后续的推导有帮助。
2 优化目标
由于我们的目标是从随机噪声
生成图像,即
,因此需要最大化的项是
。因此我们需要继续用变分推断的技巧,逐步将其转化为可以计算得到的项。首先我们有下面的上界
上式中的
不好处理,我们可以将打包的变量拆开,最后可以将其写成若干项 KL 散度之和,其中两项对应着 Markov 链头和尾,剩余的对应加噪过程的中间状态。
显然,得到的结果符合我们的预期,我们需要训练一个带参分布
,并让其与
对齐。后者是一个 Gauss 分布,使用 Bayes 公式不难得到它的分布参数
其中均值
和方差
为
由于需要匹配一个 Gauss 分布,带参分布
也需要是一个 Gauss 分布
,不过在此我们将协方差矩阵简化为对角,即
。此时我们可以求中间过程的 KL 散度,由于其参数是两个 Gauss 分布,我们有现成的结论:
令为只与时间相关的
进一步地,我们可以将预测均值
建模为与
相同的形式,即
因此
还可以进一步简化
推了半天之后我们发现我们的优化目标也只是预测噪声而已(而这并不是新鲜事),我们就可以很顺利地得到 DDPM 的训练和采样算法。我们也可以使用更加简单的目标函数,只需要将
前面的系数扔掉,同时考虑服从离散均匀分布的
即可。在下面的算法中,我们实际上也是随机从均匀分布中采样
然后训练模型。
3 训练和采样算法


可以将其与下面的模拟退火 Langevin 动力学采样进行对比

不难发现 DDPM 中的 Sampling 算法将 Annealed Langevin Dynamics 算法中的内层的循环减少到了
。
4 离散值图像生成的最后一步
由于需要生成的对象是计算机中离散编码(如八位)的图像,对应最后一步的
需要得到的是离散分布。论文使用了一个简便的技巧,假设图像的像素值在离散化过程中从
线性地归一化到
内,即
被映射到
,
被映射到
。在计算
的第
个像素值是
时,我们可以简单地将
切分成
块,其中
分别对应着
中宽度为
的小区间
,剩下的一头一尾就分别对应剩下的两个无限长度的区间。具体而言,
假设
的分布中各分量相互独立,就有
这样也不会破坏分布的归一化性质。
5 实验
5.1 预测目标和目标函数匹配程度
实验发现,预测
需要匹配未化简形式的加权期望损失;而预测噪声
需要匹配简化的损失函数。这两个搭配效果几乎一样好。
5.2 去噪过程的协方差矩阵
如果将去噪过程的协方差矩阵变成科学系的对角形式,训练过程会变得不稳定,采样得到的图像质量也会下降。
6 DDPM 的信息论视角
6.1 编码效率和失真度
模型在 CIFAR 上训练得到的对应于每一数据维度的信息比特数相差
,这说明模型没有在训练集上过拟合。此外,再回到目标函数,已知有这样的分解:
注意
中的每一项都是 KL 散度,分别描述神经网络参数化的
和分布
的区别,它是使用
描述
需要的额外编码开销(见附录),因此可将其看做生成过程中的编码效率 (rate),这体现在相对于该体系中认为的最优逆向过程
而言所需的额外编码量;而最后一项
是一个负对数似然,它将
和
对齐比较,我们可将其看做从
经过降噪过程一路走来的结果相比于
的失真度 (distortion)。
6.2 分步有损压缩的信道模型
我们可以将 DDPM 的去噪过程看作是发送端向接受端发送信息。接收端在接收前只知道
,发送端可以同步逐步使用
编码服从分布
的数据
,然后接收端用
对其进行解码。如果发送端仅发送
,接收端仅依靠此信息和
估计
,这样会产生较高的失真度。

每个时刻
,接收端都会计算估计得到的
和真实值的均方损失作为失真率,而记录自传输开始至该时刻接收器获得的所有每维度比特数为码率:即
,画出的码率-失真率曲线可以看出,大量的信息被分配至肉眼难以看见的细节中:

6.3 分步生成
作者还用各部得到的
直接预测
,得到的结果由下图所示。可见随着
的减小,预测得到的
逐步先显现总体特征,再逐步丰富局部细节。

如果使模型都从某个共用的
出发执行降噪过程,越大的
出发降噪得到的结果差异越大;越小的
出发得到的降噪结果越相似。

7 DDPM 和自回归生成模型的比较
最后讨论 DDPM 的降噪过程和序贯生成的自回归生成模型(例如 ChatGPT 的模式)的相似性和区别。我们考虑这样的场景(暂时抛开加噪过程是加 Gauss 过程这件事):生成图像的尺寸是
,所谓的"加噪过程"和"降噪过程"的步数为
,
是一个离散的 dirac-delta 点质量,它做的事情是将图像从左至右,从上至下的第
个像素变成空白;相应地,
做的事情就是将第
个像素恢复成原来的颜色。这样经过一整条"加噪过程"后,图像就变成了完全空白;再经过理想的"降噪过程"后图像又被逐像素涂色成了原来的样子。
这是我们假设神经网络建模的
,足够强大——它可以学习到上面假设中
的分布,那么这俨然成了自回归模型。然而实践过程中,DDPM 选择的使用 Gauss 噪声加噪、去噪的过程,可以看作是更为广义的自回归生成模型,它按照图像中的某种空间语义 token 按照从整体至局部的顺序逐渐生成图像。相比于添加更强归纳偏置的一般自回归生成模型——它们都假设后生成的区域依赖于先生成的区域,而这在图像生成上没有道理!——DDPM 拥有更高的灵活性和更少的归纳偏置,这也解释了其优异的生成能力。
8 隐空间插值
最后,作者将不同图像加噪过程中某个
(例如
)得到的
和
做凸组合,再做去噪过程,得到了原图
和
之间的顺滑渐变。
