A classy diffusion model dancing in a ballroom

こんにちは！AMBL株式会社　R＆D部のエイドリアンです。
こちらの記事はADVENT CALENDARの記事です。

今回は最近話題になっているDiffusion Modelについての論文を紹介したいと思います。

論文情報

タイトル	Denoising Diffusion Probabilistic Models
発表年	2020/12/16
URL	https://arxiv.org/abs/2006.11239
github	https://github.com/hojonathanho/diffusion

TL;DR

Diffusion Modelとは

画像を純粋なノイズから生成するモデルです。
簡単にまとめると、下記の特徴が挙げられます。

従来の画像生成系モデル（VAE, GAN等）よりも高度な画像生成ができる。
画像にノイズを加えること（Forward process）と
ノイズから画像を生成する（Backward process）の2つ処理で学習を行う。
マルコフ過程を用いることで計算を効率化させる。

下のネコちゃんを覚えていただければと思います。

Diffusion Model = 画像を壊して作り直す

モチベーション

では、なぜこういう手法が出てきたのか？実は画像生成系モデルが非常に研究されています。その他にも、

VAE: Variational Autoencoders (2013)
GAN: Generative Adversarial Networks (2014)
DDPM: Denoising Probailistic Models (2020) ← 本論文
+α: Diffusion Models Beat GAN on Image Synthesis (2021)

などがあります。それぞれの特徴を上げますと、下記の図になります。

Nvidia Developer Blog

学習準備

では、Diffusion Modelはどうやって学習していくのか？

DDPMの学習には以下の3つのものが必須となります。

Noise Scheduler（画像を壊す器）
Neural Network (学習担当)
Timestamp Encoding（破壊発火器）

それぞれのパラメータを用意し、Forward（画像を壊す）
処理とBackward（画像を作り直す）処理を行って学習を進めていきます。

Forward Process

$x_0=画像$

$q(x_{i:T}|x_o)=\prod_{t}^{T}q(x_t|x_{t-1})$

そして、

$q(x_{t}|x_{t-1})=N(x_t; \sqrt{1-\beta_t}{x_{t-1},\beta_t{I}})$

$\beta_t$: $t$時点の分散量

つまり、$\beta$が1に近づけば近づくほど画像が純粋なノイズとなっていきます。
また、マルコフ過程により$t$が大きくなればなるほど、画像が純粋なノイズになっていきます。

-- （変形後） --

$q(x_{t}|x_{0})=N(x_t; \sqrt{\bar{\alpha}}{x_{0},(1-\bar\alpha_t)I})$

Backward Process

$p_{\theta}(x_{0:T}):=p_{\theta}(x_{T})\prod_{t}^{T}p_\theta(x_{t-1}|x_{t})$

そして、

$p_{\theta}(x_{t-1}|x_{t})=N(x_{t-1}; \mu_{\theta}(x_t,t), \sigma^2_tI)$ for $1 < t \leq T$

$\mu_{\theta}$: 平均値

つまり、ノイズ画像から'正常'画像へ戻す（作り直す）時は、
ノイズの分布（平均、分散）さえ分かればいい、ということになります。

$x_{t-1}\approx x_t-e$

手法

上記の話しをまとめると、下記のとうな手順になります。

Neural Network

モデルの脳みその部分です。
今回のタスクはノイズ↔画像なので、入力（画像）と出力（画像）の形が一致

しなければなりません。ですので、U-NETがピッタリと言えるでしょう。

入力と出力の形は同じである

目的関数

ここがマホウです。様々なマホウをかけたら、目的関数は下記の通り簡単になりました！。

$\epsilon$: 真のノイズ

$\epsilon_\theta$: 予測ノイズ

つまり変なことをせずとも、ノイズを正しく予測させればよい、ということです。

実験結果

実験はよろしいみたいですね。

DEMO

参考

マホウ：https://lilianweng.github.io/posts/2021-07-11-diffusion-models/
簡易実装: https://colab.research.google.com/drive/1sjy9odlSSy0RBVgMTgP7s99NXsqglsUL?usp=sharing

Denoising Diffusion Probabilistic Models