拡散モデルを1から理解する — ノイズを足して、引く

DDPM原論文（Ho et al., 2020）を本文だけを根拠に読む。ノイズを足す前向き過程と引く逆過程、なぜ目的関数が「ノイズを当てる」形に落ち着くのか、単純化した損失が尤度を悪化させながら品質を上げた理由、そしてステップ数と品質の関係。

Denoising Diffusion Probabilistic Models

ノイズを足す道を、逆にたどる

拡散モデルとは、有限時間でデータに一致するサンプルを作るために変分推論で学習された、パラメータ付きマルコフ連鎖です（§1）。この連鎖の遷移は「拡散過程」——データに少しずつノイズを加え、信号が壊れるまで進むマルコフ連鎖——を逆向きにたどるように学習されます。

ここに設計上の急所があります。論文いわく、拡散が少量のガウスノイズの積み重ねでできているなら、サンプリング側の遷移も条件付きガウスで足りる。これが「特に単純なニューラルネットのパラメータ化」を可能にした（§1）。壊し方を細かく刻めば、戻し方も単純な形で書ける、ということです。

前向き過程: 縮めて、足す

前向き過程は学習しません。分散スケジュール $\beta_1,\dots,\beta_T$ に従って固定されています（式2）:

記号を日常語に置き換えると、$q(\mathbf{x}_{t}|\mathbf{x}_{t-1})$ は「いま手元にある絵から、少しだけ汚れた次の絵を作る手順」、$\mathcal{N}$ は「釣鐘型のくじを引け」という指示で、セミコロンの後ろの2つはそのくじの中心と振れ幅です。言い換えると、1ステップごとに画像を $\sqrt{1-\beta_{t}}$ 倍に縮めてから分散 $\beta_{t}$ のノイズを足す。絵をわずかに薄めて、その上に砂をまく——1ステップはそれだけです。縮めるのは、ノイズを足しても分散が膨らまないようにするためです（付録C）。

この過程には便利な性質があります。$\alpha_{t}=1-\beta_{t}$、$\bar{\alpha}_{t}=\prod_{s=1}^{t}\alpha_{s}$ と置くと、任意の時刻 $t$ の状態が閉じた形で書ける（式4）:

ここで $\bar{\alpha}_{t}$ は「$t$ ステップ後に元の絵がどれだけ残っているか」を表す1つの数、$1-\bar{\alpha}_{t}$ は「どれだけノイズに置き換わったか」です。日常語に直すと、この式は「くじの中心は元画像を $\sqrt{\bar{\alpha}_{t}}$ 倍に薄めたもので、振れ幅はノイズに明け渡した分ちょうど」と言っています。つまり元画像から任意のステップ数まで一足飛びに飛べる。1000回ループを回す必要がないので、$t$ をランダムに選んで学習できます（§2）。実験では $T=1000$、$\beta$ は $10^{-4}$ から $0.02$ への線形増加。この値は $[-1,1]$ にスケールしたデータに対して十分小さく、前向きと逆向きがほぼ同じ関数形になることを保ちつつ、終点 $\mathbf{x}_{T}$ の信号対雑音比を可能な限り小さくするために選ばれています（§4）。

逆過程は、勾配を少し下る操作に似ている

逆過程は $p(\mathbf{x}_{T})=\mathcal{N}(\mathbf{0},\mathbf{I})$ から始まる学習済みガウス遷移の連鎖です（式1）。学習は負の対数尤度の変分上界で行います（式3）。

ここで論文が指摘する対応関係が効いてきます。後述する $\boldsymbol{\epsilon}$ 予測のパラメータ化を採ると、サンプリング手続き（Algorithm 2）はランジュバン動力学に似た形になり、$\boldsymbol{\epsilon}_{\theta}$ はデータ密度の学習された勾配として振る舞う（§3.2）。1ステップは「勾配に沿って少し動いて、ノイズを足す」に近い、ということです。

変分上界を、扱える形にほどく

変分上界は分散を減らすために書き換えられます（式5）。$L_{T}$、各 $L_{t-1}$、$L_{0}$ の3種類の項に分かれ、$\beta_{t}$ を定数に固定しているため $L_{T}$ は学習中の定数として無視できます（§3.1）。中間の項は、前向き過程の事後分布を $\mathbf{x}_{0}$ で条件付けると扱える形になり（式6・7）、すべてのKLがガウス同士の比較になるので閉形式で計算できる（§2）。

そこから $L_{t-1}$ は「$\tilde{\boldsymbol{\mu}}_{t}$ と $\boldsymbol{\mu}_{\theta}$ の二乗誤差」に落ちます（式8）。素直に読めば、ネットワークは事後分布の平均 $\tilde{\boldsymbol{\mu}}_{t}$ を当てればよい。ここまでは自然な流れですが、論文はもう一段だけ書き換えます。

未知は、ノイズだけになる

式4を $\mathbf{x}_{t}=\sqrt{\bar{\alpha}_{t}}\mathbf{x}_{0}+\sqrt{1-\bar{\alpha}_{t}}\boldsymbol{\epsilon}$ と再パラメータ化して展開すると、$\boldsymbol{\mu}_{\theta}$ が予測すべき量が露わになります（式10）:

右辺を手順として読むと「手元のノイズまみれの画像から、ネットワークが当てたノイズを $\beta_{t}/\sqrt{1-\bar{\alpha}_{t}}$ 倍だけ差し引き、$\sqrt{\alpha_{t}}$ で割って、前向き過程で縮めた分を戻す」。要するに、汚れを見積もって拭き取り、縮んだ分を引き伸ばす操作です。この式の要点は「右辺に出てくるのは $\mathbf{x}_{t}$ と $\boldsymbol{\epsilon}$ の2つだけ」ということです。$\mathbf{x}_{t}$ はネットワークの入力として既に手元にある。だから未知は $\boldsymbol{\epsilon}$ だけで、それだけを予測すれば平均が復元できる（式11）。代入すると目的関数は重み付きの $\|\boldsymbol{\epsilon}-\boldsymbol{\epsilon}_{\theta}\|^{2}$ になり（式12）、これは複数のノイズ水準にわたるデノイジングスコアマッチングに似た形です（§3.2）。

論文は但し書きも忘れません。これは $p_{\theta}$ の別のパラメータ化にすぎないので、有効性はアブレーションで確かめる、と（§3.2）。$\mathbf{x}_{0}$ を直接予測する選択肢もあったが、初期実験でサンプル品質が悪かったとも書かれています。

学習も生成も、10行に収まる

学習 (Algorithm 1): x0 をデータから引く / t を 1..T から一様に引く
  ε ~ N(0, I) を引き、|| ε - ε_θ(√ᾱ_t x0 + √(1-ᾱ_t) ε, t) ||² を勾配降下

生成 (Algorithm 2): x_T ~ N(0, I)
  t = T..1 について
    z ~ N(0, I)（t=1 では z=0）
    x_{t-1} = (1/√α_t)( x_t - ((1-α_t)/√(1-ᾱ_t)) ε_θ(x_t, t) ) + σ_t z

学習側にループはありません。式4のおかげで、時刻 $t$ をランダムに1つ引いて1回ノイズを足すだけで済みます。

単純化した損失が、品質を上げた

論文はさらに、式12の重み $\frac{\beta_{t}^{2}}{2\sigma_{t}^{2}\alpha_{t}(1-\bar{\alpha}_{t})}$ を捨てた形を使います（式14）。残るのは $\|\boldsymbol{\epsilon}-\boldsymbol{\epsilon}_{\theta}\|^{2}$ だけ。これは変分下界そのものではなく重み付き変分下界であり、§4 の設定では小さい $t$ の項が相対的に軽くなります。小さい $t$ はごく僅かなノイズを取り除く課題なので、軽くして大きい $t$ の難しい除去にネットワークを集中させるほうが有益だ、というのが論文の説明です（§3.4）。

効果は表2に出ます。$\tilde{\boldsymbol{\mu}}$ 予測＋真の変分下界（固定等方 $\boldsymbol{\Sigma}$）が IS 8.06 / FID 13.22、$\boldsymbol{\epsilon}$ 予測＋同条件が 7.67 / 13.51 とほぼ互角。ところが $\boldsymbol{\epsilon}$ 予測＋$L_{\mathrm{simple}}$ は IS 9.46 / FID 3.17 に跳ねます。一方、$\tilde{\boldsymbol{\mu}}$ を単純化目的で学習した場合と、$\boldsymbol{\epsilon}$ 予測で分散を学習させた場合は不安定でスコアが載っていません。ε予測と単純化損失は、セットで初めて効く。

ステップ数と品質のトレードオフ

$T=1000$ は「サンプリング時のネットワーク評価回数を先行研究と揃えるため」に置かれた値で、掃引していないと明記されています（§4、付録B）。生成は Algorithm 2 のとおりネットワークを $T$ 回呼ぶので、コストはステップ数に正比例します。実測では、CIFAR10 の256枚が17秒、$256\times256$ の128枚が300秒（付録B）。

長さについて論文が述べているのはこの点です。ガウス拡散の長さはデータ次元に縛られず、高速なサンプリングのために短くも、表現力のために長くもできる（§4.3）。逆過程の途中で $\hat{\mathbf{x}}_{0}$ を予測させると、大きなスケールの特徴が先に現れ、細部が最後に現れます。

関連して、レートと歪みの配分も測られています。表4では逆過程を最後まで回したとき rate 1.776 bits/dim・RMSE 0.951 なのに対し、900ステップ時点では 0.120 bits/dim・RMSE 12.02。ビットの大半は知覚できない歪みの記述に使われているわけです（§4.3）。ただしこれは進行的な非可逆符号としての解析であり、サンプリングを途中で打ち切った画像の品質を測ったものではありません。

限界と未検証点

論文自身が述べているもの:

• 尤度は競争力がない。CIFAR10 で $\le 3.75$ bits/dim にとどまり、Sparse Transformer の 2.80 に届きません。「他の尤度ベースの生成モデルとは競争にならない」と自ら書いています（§4.3、表1）。
• 逆過程の分散の学習は不安定。学習可能な対角 $\boldsymbol{\Sigma}_{\theta}$ は固定分散に比べて不安定で品質も劣る（§4.2、表2）。
• 進行的圧縮は概念実証。minimal random coding のような手続きに依存し、高次元データでは扱えないと明記されています（Extra information）。
• ハイパーパラメータはCIFAR10で決めて転用した。$T$ は掃引せず1000に固定、EMAの減衰率0.9999も掃引していません（付録B）。
• 最終実験は1回のみ学習し、学習中のFID最小値で報告（付録B）。ばらつきの情報はありません。
• 補間で変わらない属性がある。ポーズ・髪型・表情・背景は滑らかに変わるが、眼鏡は変わらない（§4.4）。

過学習については、訓練とテストの符号長の差が最大 0.03 bits/dim であることを根拠に「過学習していない」と述べています（§4.3）。

※本記事執筆時点（2026年）の補足（原論文の主張ではなく筆者の注記）: 数値はすべて2020年の本論文の報告値です。少ステップのサンプラーや潜在空間での拡散など後続の手法は本論文の範囲外であり、ここには含めていません。

現場ではこう使う

拡散モデルに実務で触るのは、画像生成基盤を扱うMLエンジニアが学習済みモデルを自社データで追加学習する、あるいは小さめのドメインで一から学習するときです。理論の全体を再導出する場面はまず来ませんが、下の値は設定ファイルにそのまま並びます。

触るパラメータ。 T（拡散ステップ数）、$\beta$ スケジュール（線形 $10^{-4}\to0.02$）、EMAの減衰率 0.9999、dropout（CIFAR10 のみ掃引して 0.1）、学習率 $2\times10^{-4}$、バッチ 128（$256^2$ では 64）。自己注意は $16\times16$ 解像度のブロック間に置き、時刻 $t$ はTransformerの正弦位置埋め込みとして各残差ブロックに加えます（付録B）。

落とし穴。 ①高解像度で学習率を据え置くと不安定になる。論文は $256^2$ で $2\times10^{-5}$ まで下げています。②逆過程の分散を「学習させれば良くなる」と考えると壊れます（表2）。③EMAとdropoutは掃引していない既定値なので、外したときの挙動は論文の外側です。④生成コストはステップ数に比例し、ネットワークをT回呼びます。⑤FIDは訓練セット基準で3.17、テストセット基準で5.24。どちらの基準かを揃えずに数字を比較しない（§4.1）。

面接で問われる問い。 「なぜノイズを予測するのか」——式10が $\boldsymbol{\mu}_{\theta}$ に要求する量は $\mathbf{x}_{t}$ と $\boldsymbol{\epsilon}$ の線形結合で、$\mathbf{x}_{t}$ は入力として既知だから未知は $\boldsymbol{\epsilon}$ だけ（式11）。加えてデノイジングスコアマッチングと同形になる（§3.2）。「$L_{\mathrm{simple}}$ は変分下界と何が違うのか」——式12の重みを落とした重み付き下界で、小さい $t$ の項が軽くなり、尤度は悪化してサンプル品質は上がる（§3.4）。前提の道具立ては確率・統計、bits/dimの読み方は情報理論にあります。

まとめ

• 前向き過程は学習しない固定のノイズ付加で、式4により任意の $t$ へ一足飛びに飛べる（§2）
• 逆過程をガウスで書けるのは $\beta_{t}$ が小さいから。刻みの細かさが単純さを買っている（§1、§2）
• $\boldsymbol{\epsilon}$ を予測する形に落ち着くのは、式10の右辺で未知が $\boldsymbol{\epsilon}$ だけになるから（§3.2）
• 重みを捨てた $L_{\mathrm{simple}}$ は尤度を悪くし、サンプル品質を大きく上げた（§3.4、表2）
• 生成コストはステップ数に比例。長さは高速化にも表現力にも振れる、とだけ論文は述べている（§4.3）

原論文: Ho, Jain, Abbeel, "Denoising Diffusion Probabilistic Models" (arXiv:2006.11239, 2020 / v2)