論文解説: On-Policy Self-Distillation in Diffusion Models — 報酬を「途中の的」に翻訳する

画像生成モデルを報酬で鍛えるとき、完成画像への点数は「途中のデノイズをどう直すか」を教えてくれない。DiffusionOPSD は報酬の勾配から中間予測の具体的な的を作り、自分自身のEMA版を教師にして当てはめる。要旨に書かれた範囲で、その仕組みと限界を1から解説する。

On-Policy Self-Distillation in Diffusion Models

「もっと良く描け」では絵は直らない

絵の講評を受けている場面を思い浮かべてください。1時間かけて描いた1枚に対し、先生が「62点」とだけ言って去っていく。悪い点数だとは分かる。けれど、どの線を、どちらへ、どれだけ動かせばよかったのかは何ひとつ分かりません。次の1枚でまた62点を取るだけです。

画像生成の拡散モデルを強化学習で鍛えるとき、まさにこれが起きています。強化学習は拡散モデルを人間の好みやタスク固有の目的に合わせることができますが、端点（完成画像）に与えられる報酬は、途中のデノイズ予測をどう変えるべきかを指定しません（要旨）。今回読む論文 "On-Policy Self-Distillation in Diffusion Models"（arXiv:2608.24646、2026年8月25日投稿）は、この「点数しか言わない先生」を「ここをこう直せと指差す先生」に変えるための枠組み DiffusionOPSD を提案しています。

先に注意書きをひとつ。この記事の根拠として取得できた一次資料は論文の要旨（アブストラクト）までで、本文のセクションは含まれていません。以下、要旨に明記された内容だけを「論文では」と書き、それ以外は筆者の解釈だと明示して区別します。

前提: 拡散モデルは毎ステップ「完成予想図」を描いている

拡散モデルの生成は一発勝負ではありません。ノイズだらけの画像から出発し、少しずつノイズを取り除く工程を数ステップから数十ステップ繰り返します。この各ステップで、モデルは内部的に「もしここから全部のノイズを取り除いたら、こういう絵になるはずだ」という完成予想図を持っています。論文が clean-output prediction（クリーン出力予測）と呼んでいるのがこれです。

一般的な拡散モデルの記法で書くと、時刻 $t$ のノイズ入り画像 $x_t$ から完成予想図 $\hat{x}_0$ は次のように取り出せます（これは拡散モデル共通の背景知識であって、この論文が提案した式ではありません）。

$$\hat{x}_0 = \frac{x_t - \sqrt{1-\bar{\alpha}_t}\,\hat{\epsilon}_\theta(x_t, t)}{\sqrt{\bar{\alpha}_t}}$$

記号をひとつずつ。$x_t$ は「途中のノイズだらけの絵」、$\hat{\epsilon}_\theta$ は「モデルが推定した、そこに乗っているノイズ」、$\bar{\alpha}_t$ は「どれだけノイズが混ざっているかを表す係数（1に近いほどきれい）」です。言い換えれば、推定したノイズを引き算し、薄まった分を割り算で戻すと、今この瞬間のモデルが思い描く完成形が出てくる。生成の各ステップは、この完成予想図を少しずつ描き直す作業だと思ってください（全体像は拡散モデル入門）。

端点報酬の何が困るのか

さて、この完成予想図が毎ステップあるにもかかわらず、報酬モデル（美的スコア、指示追従スコアなど）が点数を付けるのは最後に出てきた1枚だけです。学習信号は「良かった／悪かった」という1つのスカラーとして、数十ステップ分の予測へ薄く配られることになります。

厄介な理由は2つです。帰属の問題——62点が第3ステップの構図決めのせいか第30ステップの質感のせいか分からない。そして分散の問題——乱数が違えば点数は揺れるので、点数の上下から方針の良し悪しを読むには大量のサンプルが要ります。

論文の出発点はここです。報酬という評価を、中間予測への指示へ翻訳できないか。DiffusionOPSD は報酬の勾配を使って「その場の予測が目指すべき具体的な絵」を作り、それを教師信号として与えます（要旨）。問いが「結果は良かったか」から「この予測はどうあるべきだったか」へ変わっていることに注目してください。

ただし勾配には落とし穴があります。勾配が教えてくれるのは向きだけで、どれだけ進むべきかは教えてくれません。踏み込みすぎれば壊れます。下の図で、谷底へ向かう向きは常に正しいのに、一歩の大きさを上げていくと球が谷を飛び越えて発散する様子を確かめてください。論文が正負のターゲットを「有界（bounded）」に作ると明記しているのは、まさにこの一歩の大きさを制御するためだと読めます。