2026-08-31·★ 会員·論文·19分で読めます

論文解説: Self-OPD — 教師モデルなしで、画像生成モデルが自分を蒸留する

教師モデルを使わず、生成の各ステップで自分の分身をK本つくって採点し、良い枝に引き寄せ悪い枝から遠ざける。フローマッチング系画像生成のアライメント手法 Self-OPD を、前提知識ゼロから解説します。

#flow-matching #on-policy-distillation #reward-model #image-generation #rl

Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher

一次資料 — この記事の根拠

論文の発表 2026-08-27→この解説の公開 2026-08-31同月

Self-OPD: On-Policy Distillation for Flow Matching Models without TeacherShiyi Zhang, Mushui Liu, Yunze Tong ほか · 2026-08-27 · v1arXiv:2608.26872論文ページ·PDF

原文の要旨（Abstract）を読む

On-policy distillation (OPD), which leverages a pre-trained, specialized teacher model to provide dense supervisory signals, has achieved significant success in Large Language Models (LLMs) and has recently been adapted to flow matching models. However, this paradigm suffers from two major issues: First, training a separate, task-specific teacher for every new objective incurs high computational costs. Second, the discrepancy between teacher and student distributions often leads to compounding errors along the generation trajectory. In this paper, we introduce \textbf{Self-OPD}, a teacher-free OPD framework for flow matching models that turns the student's own self-exploration into step-wise supervision. At each timestep, Self-OPD branches the deterministic next-state prediction into $K$ stochastic SDE candidates, rolls them out with the ODE sampler, and compares their rewards against a deterministic self-reference baseline to obtain normalized advantages. The velocity field is optimized with an all-branch pull-push objective, where high-advantage branches attract the student and low-advantage branches repel it under direction-aware attenuation and SDE-variance normalization. For multi-objective alignment, Self-OPD fuses normalized scores at the reward level, avoiding direct gradient conflict. Experiments on single and mixed reward benchmarks show that Self-OPD outperforms prior RL and OPD methods without task-specific teachers.

「先生がいない蒸留」という違和感

蒸留（distillation）と聞けば、賢い先生モデルの出力を小さな生徒モデルに真似させる図を思い浮かべます。先生がいるからこそ、生徒は一手ごとに「ここではこう動くべきだった」という細かい指示を受け取れる。これがオンポリシー蒸留（OPD）の強みでした。

ところが画像生成にこれを持ち込むと面倒が起きます。「文字を正確に描く」「指示どおりの構図にする」「人間好みの絵にする」——目的が増えるたび、その目的に特化した先生を1体ずつ訓練しなければならない。しかも生徒は先生を超えられません。先生の質と偏りが、そのまま天井になります（§1）。

論文 Self-OPD の問いはこうです。一手ごとの濃い指導という OPD の良さを残したまま、先生を消せないか。

比喩: 分かれ道で、自分の分身に偵察させる

山道を降りる場面を想像してください。ゴールは「良い絵」です。先生ありの OPD は、道を知るガイドが分かれ道ごとに「こっち」と指さしてくれる状態。楽ですが雇用費がかかり、ガイドの知らない道へは行けません。強化学習（RL）方式は、最後まで降りきってから「今日のルートは70点」と告げられる状態。どの分かれ道が悪かったかは推測するしかなく、当たり外れが大きくなります（§1）。

Self-OPD はその中間です。分かれ道ごとに分身を K 人つくって少しずつ違う方向へ散らし、それぞれを最後まで走らせて採点する。そして「まっすぐ進んだ自分」のスコアを基準線として引く。基準より良かった枝へ寄り、悪かった枝からは離れる。ガイドは要らず、採点係（報酬モデル）だけがいればいい設計です。

前提: フローマッチングは「速度場」を学んでいる

対象となるフローマッチング（FM）モデルは、ノイズから画像へ向かう流れの速度を学びます（§3.1）。 $t=1$ が純ノイズ、 $t=0$ が画像です。学習時は中間状態 $x_t=(1-t)x_0+t\epsilon$ を作り、そこでの正しい速度を当てさせます。

\mathcal{L}_{\mathrm{FM}}=\mathbb{E}_{t,x_{0},\epsilon}\left[\|v_{\theta}(x_{t},t)-(\epsilon-x_{0})\|^{2}\right]

(1)

$v_\theta(x_t,t)$ はモデルが出す速度ベクトル、 $(\epsilon-x_0)$ はノイズから画像へ向かう本当の向きです。この式が言っているのは要するに、半分ノイズに濁った絵を見せて「ここからどちらへ動けば絵に近づくか」を矢印で答えさせ、外れた分だけ罰するということ。モデルは絵そのものを暗記するのではなく、この矢印の当てっこを延々と繰り返しているだけです。生成時はこの速度に従って $t=1$ から $t\approx0$ まで積分します（ODE）。毎ステップ小さなノイズを足せば SDE 版になり、同じモデルから毎回ちがう絵が出ます。

x_{t_{j+1}}=x_{t_{j+1},\theta}+\sigma_{t_{j}}\sqrt{|\Delta t_{j}|}\,z_{j},\quad z_{j}\sim\mathcal{N}(0,\mathbf{I})

(2)

$x_{t_{j+1},\theta}$ はモデルが計算した決定的な次状態、 $z_j$ はガウスノイズ、 $\sigma_{t_j}=\eta\sqrt{t_j/(1-t_j)}$ はノイズの強さです。 $\eta=0$ なら元の ODE に戻ります。この式が言っているのは要するに、モデルが「次はここ」と決めた点をそのまま採らず、その周りでサイコロを振って一歩ぶんずらすということ。ずらす半径を決めるのが $\eta$ で、これが後の「偵察の半径」になります。

既存の2路線が詰まっていた場所

論文は既存手法を2つに整理します（§1、Fig.1a）。RL 系（Flow-GRPO など）は教師不要ですが報酬が軌跡の最後にしか付かず、何十ステップも遡って功績を配分するため勾配のばらつきが大きい。教師あり OPD 系（Flow-OPD、DiffusionOPD）は各ステップで教師速度に回帰するので安定する一方、目的ごとに教師が要り、複数教師の速度場を場のレベルで混ぜると更新方向が衝突します。特に DiffusionOPD はプロンプトごとに担当教師へ振り分けるため、「1枚の絵がすべての基準を同時に満たす」という目標とはずれる、と論文は指摘します。

「報酬で分布を傾ける」という共通言語

3方式を貫く考え方を先に押さえます。目標は、次の一手の分布 $q_\theta$ を、報酬が高い方向へ少しだけ傾けた分布 $q^{*}\propto q_{\theta}\exp(A/\tau)$ に近づけること（§3.3）。 $A$ は候補の良さ、 $\tau$ は「どれだけ極端に良い方へ寄せるか」の温度です。 $\tau$ が大きいと候補は横並びのまま、小さいと最良候補への一点張りになります。

FIG 1温度を下げるほど1本の枝へ確率が集中する。Self-OPDが目指す「報酬で傾けた目標分布」も同じ形で、温度が低すぎると最良枝への一点張りになり学習が不安定になる

仕組み1: 枝分かれと、自分自身を基準にした採点

Self-OPD の1ステップは3つの操作でできています（§3.2）。

(a) 1回の前向き計算で K 本に分岐する。 決定的な次状態 $x_{t_{j+1},\theta}$ を1回だけ計算し、そこへ独立なガウスノイズを K 個足します。重い Transformer の計算は1回きりで、多様性は軽いノイズ加算だけから来る——これが効率上の要点です。

x_{t_{j+1}}^{(k)}=x_{t_{j+1},\theta}+\sigma_{t_{j}}\sqrt{|\Delta t_{j}|}\,z_{k},\quad z_{k}\sim\mathcal{N}(0,I)

(3)

式(3)は式(2)と同じ形です。つまり言っているのは、同じ1点から $k=1,\dots,K$ の枝が少しずつ違う方向へ散るということだけ。ちがうのは乱数 $z_k$ を K 個引き直した点のみで、重い計算をやり直さずに K 通りの未来を用意しています。

(b) 各枝を最後まで走らせて採点する。 各枝を $\eta=0$ の決定的 ODE で $\hat{x}_0^{(k)}$ まで走らせ、VAE デコーダで画像に戻し、報酬モデルで採点します。

(c) 自分自身を基準線にする。 同じ親状態から枝分かれせずまっすぐ走った場合のスコア $r^{\mathrm{ode}}$ も測ります。これが自己参照ベースラインで、教師も他モデルも要りません。