2026-08-22·無料·論文·15分で読めます

論文解説: S²VOPD — 教師を強くする代わりに、生徒の目を曇らせる

正解ラベルも報酬も強い教師も使わずに視覚VLMを伸ばす S²VOPD を、論文本文に沿って解説。生徒側の画像だけを劣化させて「情報の非対称性」を作る反転の発想と、効く拡張・効かない拡張の切り分けを扱う。

要点

on-policy蒸留は、生徒が自分の言葉で書いた文の各分岐に、教師が確率で赤ペンを入れる手法です。
教師が生徒より多くを知る情報の非対称性が必要で、S²VOPDは教師に足さず生徒から情報を引いてこれを作ります。
教師は生徒の重みの指数移動平均（EMA）で、元画像を見て、生徒は劣化画像を見ます。
最良の劣化は縮小（s〜U(0.3,0.6)）にガウスノイズを重ねたもので、縮小後は元解像度へ戻しません。
Qwen3.5-4Bの6知覚ベンチ平均は70.68%から77.44%へ上がり、非対称性を消すと伸びは消えます。

#distillation #on-policy #vlm #self-supervised #augmentation #paper-review

対象imageタスクgeneration

Self-Supervised Visual On-Policy Distillation

一次資料 — この記事の根拠

論文の発表 2026-08-14→この解説の公開 2026-08-22同月

Self-Supervised Visual On-Policy DistillationYijiang Li, Yijun Liang, Yunjie Tian ほか · 2026-08-14 · v1arXiv:2608.14144論文ページ·PDF

原文の要旨（Abstract）を読む

Visual on-policy distillation relies heavily on an informative teacher-student asymmetry, through either a larger, stronger teacher or privileged supervision, such as reference answers or ground-truth regions of interest. This raises a fundamental question: where can informative asymmetry come from when nothing privileged is available? We answer this by inverting where the asymmetry comes from. Rather than adding privileged information to the teacher, we subtract information from the student. This asymmetry creates the same effective learning signal for free as a teacher with access to information unavailable to the student, without ground-truth annotations, rewards, or a separate stronger teacher model. Building on this principle, we introduce Self-Supervised Visual On-Policy Distillation (S$^2$VOPD), a simple yet effective method that constructs on-policy learning signals from asymmetric augmented views. S$^2$VOPD distills the teacher's distribution conditioned on the original image on-policy into the student distribution conditioned on a strongly augmented view of the same image. We systematically explore a broad design space of visual augmentations and uncover that (1) asymmetry matters: all four augmentation families improve performance, while symmetric self-distillation degrades it; (2) strength matters: performance peaks at a moderate strength; and (3) the gap must remain task-consistent: augmentations that completely remove the question-relevant evidence can induce large but uninformative discrepancies. Across six fine-grained perception benchmarks, S$^2$VOPD improves Qwen3.5-4B from 70.7% to 77.4%, above all open-source models compared, up to Qwen3-VL at 235B, and surpasses GPT-5.4. While holding training data the same, it recovers 96% of the improvement achieved by methods with privileged information. Website is at https://williamium3000.github.io/s2vopd

「教師が強い」以外に、伸ばす手はあるのか

蒸留（distillation）は、よくできたモデル（教師）の答え方を別のモデル（生徒）に写し取る手法です。近年の on-policy 蒸留 はこれを一歩進めます。模範解答を丸写しさせるのではなく、生徒に自分の言葉で書かせたうえで、その一語ごとの分かれ道に教師が「私ならこの語を選ぶ確率はこれくらい」と赤ペンを入れる。生徒が実際に立っている場所で採点するので、練習と本番のズレが小さくなります。

ただし前提があります。教師が生徒より何かを知っていることです。論文はこれを「教師と生徒の情報の非対称性」と呼び、蒸留の中心に置きます(§1)。赤ペンを持つ側が生徒と同じことしか知らないなら、書き込まれるのは自己肯定でしかありません。従来この非対称性は、教師を大きく強いモデルにするか、教師にだけ特権情報（正解の解答文、環境からのフィードバック、正解領域の注釈など）を渡すかで用意されてきました。どちらも外から供給する必要があり、モデルが強くなるほど人間の監督は追いつかなくなります。

そこで論文は問います。特権的なものが何もないとき、有益な非対称性はどこから来るのか。答えは向きの反転でした。教師に情報を足すのではなく、生徒から情報を引く。教師は元の画像を、生徒は同じ画像の劣化版を見る。それだけで「教師が生徒には見えないものを持っている」状況が無料で成立します。

比喩: すりガラス越しに同じ写真を見る

同じ写真を2人で見ています。教師は素通しのガラス越し、生徒はすりガラス越し。2人とも「奥のベンチに座っているのは何人か」に答えます。生徒が「たぶん2人」、教師が「3人だ」と言ったとき、この食い違いは能力差ではなく見えている情報量の差から生まれています。だからこの差には「もっとよく見ろ」という方向が含まれている。正解を知っている人は部屋に誰もいないのに、学習信号が立ち上がる。これが S²VOPD（Self-Supervised Visual On-Policy Distillation）の核です。

論文が相手にしているのは細かい知覚を問うタスクです。評価には V*Bench、ZoomBench、HR-Bench 4K/8K、MME-RealWorld とその中国語版という6つの知覚ベンチマークと、MathVista・MathVerse・MathVision の3つの数学推論ベンチマークを使います(§4.1)。高解像度の写真に写った小さな一点を見つけて答える、という形の問題が中心です。だからこそ「見えている情報量」を人工的に削る操作が、意味のある学習信号になります。学習側は FineVision の自然画像から抜いた画像と質問の対で、正解ラベルは一切使いません(§4.1)。

仕組み: 教師は生徒自身の分身

生徒を $\pi_\theta$ 、教師を $\pi_\phi$ と書きます。教師は別に用意した強いモデルではなく、生徒の重みの指数移動平均（EMA）です(§3.1)。

\phi \leftarrow (1-\eta)\,\phi + \eta\,\theta

(1)

$\phi$ が教師の重み、 $\theta$ が生徒の重み、 $\eta$ が更新率。式(1)は「教師の重みを生徒の重みへ少しずつ寄せる」と言っているだけで、教師は生徒の少し前の姿をならした分身です。この式が言っているのは要するに、教師とは「生徒がこれまでに通ってきた姿の移動平均」だということ。 $\eta$ を小さくするほど教師の動きは鈍くなり、生徒の直近のブレに引きずられなくなります。

画像と質問の組 $(x,q)$ ごとに確率的な変換 $T$ を引き、生徒用の見え方 $\tilde{x}=T(x)$ を作ります。生徒は $\tilde{x}$ を見ながら応答を自分で書き、教師は同じ書きかけの文を元画像 $x$ のもとで採点する。拡張がかかるのは生徒側だけで、教師は常に元画像を見ます(§3.1)。

「自分で書かせる」ところが on-policy の意味です。用意した正解文の上で比べると、生徒が実際には決して通らない文の上で採点することになり、学習時と推論時で分布がずれます。生徒自身に $n$ 本（既定は8本）書かせてその上で採点すれば、赤ペンが入るのは生徒が本当に迷う分かれ道だけになります。なお教師側に勾配は流れません。

FIG 1これはJPEG圧縮の図ですが、体感してほしいのは「劣化の強さ」そのものです。Q値を下げると、どこまでなら中身をまだ言い当てられ、どこから先は質問自体が答えられなくなるか。S²VOPDが探しているのはちょうどその境目の手前です

損失: 同じ文の上で、2つの分布を比べる

目的関数は、生徒が自分で書いた軌跡に沿って各トークン位置での教師分布と生徒分布のズレを測り、その平均を最小化します(§3.1)。

\mathcal{L}(\theta)=\mathbb{E}_{(x,q)\sim\mathcal{D}}\;\mathbb{E}_{y\sim\pi_\theta(\cdot\mid\tilde{x},q)}\!\left[\frac{1}{|y|}\sum_{t=1}^{|y|} D\big(\pi_\phi(\cdot\mid x,q,y_{<t})\,\big\|\,\pi_\theta(\cdot\mid\tilde{x},q,y_{<t})\big)\right]

(2)

$y$ は生徒の応答、 $y_{<t}$ はその途中まで、 $D$ は2分布のズレを測る量です。同じ書きかけの文を両者に見せ、次の語の確率分布を突き合わせ、長さで割って平均する。教師と生徒で違うのは画像の条件づけだけなので、ズレは「見えているかどうか」だけに由来します。

この式が言っているのは要するに、「生徒が自分で書いた文を1語ずつ巻き戻し、その各地点で『きれいな画像を見ている自分ならどう続けたか』との食い違いを測って、その平均を小さくしていく」ということです。長さで割るのは、長い応答ほど損失が大きくなって短い応答より重く扱われるのを防ぐためです。

$D$ には一般化Jensen–Shannon divergence（JSD）を使います。混合分布 $m_t=\alpha\,\pi_\phi+(1-\alpha)\,\pi_\theta$ を置くと、

D^{\alpha}_{\mathrm{JS}}(\pi_\phi \,\|\, \pi_\theta) = \alpha\, D_{\mathrm{KL}}(\pi_\phi \,\|\, m_t) + (1-\alpha)\, D_{\mathrm{KL}}(\pi_\theta \,\|\, m_t)

(3)

この式が言っているのは要するに、教師と生徒をいったん混ぜた「中間の分布」 $m_t$ を作り、両者がそこからどれだけ離れているかを重み付きで足すということです。どちらか一方を基準に相手を測るのではなく、真ん中に物差しを置く。

$\alpha$ は混ぜる重みで既定は $0.5$ 。 $0$ なら順方向KL、 $1$ なら逆方向KLに寄り、 $0.5$ はその中間です（KL自体はKL情報量を1からへ）。実装では両分布を教師のtop-kに限定して再正規化し、語彙の長い裾に振り回されるのを防ぎます(§3.1)。

for x, q in loader:
    xs = add_noise(downscale(x, s=uniform(0.3, 0.6)), p=0.5)  # 生徒だけ劣化
    ys = student.sample(xs, q, n=8)                           # 生徒が自分で書く
    for y in ys:
        p_t = teacher.dists(x,  q, y)      # 教師は元画像で同じ prefix を採点
        p_s = student.dists(xs, q, y)      # 生徒は劣化画像
        p_t, p_s = topk_renorm(p_t, p_s, k)
        step(js_divergence(p_t, p_s, alpha=0.5).mean())
    ema_update(teacher, student, eta=0.05)

どう劣化させるか: 4つの家族と最良レシピ

論文は演算子を、生徒が使える視覚情報をどう変えるかで4家族に整理しました(§3.2)。情報削減（縮小、ぼかし、モザイク、帯域除去、ガウスノイズ、視覚トークンの間引き）は配置を保ったまま情報量を減らす。幾何変換（回転、平行移動、切り出し、余白付き縮小）は空間の組み立てを変え、他と違い空間を問う質問では答え自体が変わりえます。測光変換（明度、コントラスト、彩度など）は見た目だけを変え、遮蔽（ランダム消去、格子マスク）は局所的に領域を消します。

もっとも強かったのは、情報削減から2つを重ねた構成でした(§3.2)。

T(x)=A_{\mathrm{noise}}\big(A_{\mathrm{down}}(x;s);\lambda_{\mathrm{noise}}\big),\qquad s\sim\mathcal{U}(0.3,0.6)

(4)

つまり式(4)がやっているのは「まず画像を小さくし、その上からノイズを乗せる」という2手だけで、凝った操作は何も入っていません。 $A_{\mathrm{down}}$ が縮小、 $A_{\mathrm{noise}}$ がガウスノイズ。縮小率 $s$ は毎回 $0.3$ 〜 $0.6$ 倍から引き、適用率が $1$ なので生徒の見え方は必ず劣化します。ノイズは確率 $0.5$ 、DDPM前方過程の $t{=}200$ 相当（標準偏差およそ $0.11$ ）。効いている細部が1つ、縮小後に元解像度へ戻さないことです。戻さないので視覚トークン数そのものが減り、情報が減ると同時に rollout と順伝播も安くなります（視覚トークンはVLMの成立と現在へ）。

3つの発見

以下は計算制約から2,048トークン予算で測られた、互いに比較するための数値です(§4.3)。

1. 非対称であること自体が効く。 ベースは $70.58\%$ 。 $T$ を恒等写像にした対称な自己蒸留は $65.21\%$ で、元より悪化します。一方、家族ごとに単独適用すると情報削減 $75.65\%$ 、測光 $74.40\%$ 、幾何 $74.30\%$ 、遮蔽 $72.44\%$ と、4家族すべてが両方を上回りました。

2. 強さには最適値がある。 どの家族でも性能はいったん上がり、その後下がります。解像度削減は $0.3$ 〜 $0.6$ 倍の $75.65\%$ が頂点で、弱い側 $75.25\%$ 、強い側 $75.05\%$ 。ぼかしも $74.20\%\to75.71\%\to75.07\%$ と同じ山型です。論文は強さの代わりに学習の最初の10ステップで測ったトークン単位のJSDを横軸に取り、おおよそ $0.014$ を境に上昇から下降へ転じると報告しています。

3. ズレは大きければいいわけではない。 切り出し（crop）がこの限界を露わにします。強くするほど性能は単調に落ち、 $71.53\%\to68.76\%\to67.44\%$ 。最強の切り出しは研究中で最大のズレを生みながら、対称自己蒸留をわずかに上回る程度でした。切り出しは質問に答えるための証拠そのものを消すことがあるからです。答えられなくなった入力から生じたズレは、大きくても中身がありません。

どこまで届いたか

FineVision の自然画像12K問で学習すると、Qwen3.5-4B の6知覚ベンチ平均は $70.68\%$ から $77.44\%$ へ $6.76\%$ 上昇します(§4.2)。この4Bモデルは表中のオープンソースモデルすべて（Qwen3-VL-Instruct-235B の $75.75\%$ を含む）と GPT-5 系列を上回り、Qwen3.5-397B と並びました。正解領域も正解文も使わずに、特権情報つきの ZwZ・Vision-OPD・Opsd を超えています。

この表は得意分野の非対称も映します。特権的な視覚情報を使う手法は知覚を伸ばす一方で数学推論を落とし、Opsd は MathVision を4Bで $9.3\%$ 、ZwZ は MathVerse を4Bで $27.1\%$ 下げました。逆に自己報酬RLは数学を伸ばすが知覚は弱い。学習データを揃えた比較（Vision-OPD-6K、65ステップ）で S²VOPD が4Bの9ベンチ平均 $75.33\%$ と最良（Vision-OPD $74.77\%$ ）なのは、両方を同時に改善したからです(§4.2)。

何が本体だったのか

生徒にも同じきれいな画像を見せて非対称性だけを消すと、平均は $70.52\%$ とベースの $70.68\%$ に戻り、伸びが丸ごと消えます。このとき目的関数は、生徒の誤りを正す代わりに教師の自信のある誤りを増幅すると論文は述べています。一方、拡張を残して教師をベースモデルに凍結しても $75.95\%$ （既定比 $-0.40\%$ ）で、伸びの $93\%$ が残る。EMA は安定した実装上の選択肢にすぎず、学習信号の本体は構成された非対称性のほう、というのが結論です(§4.4)。

ダイバージェンスの比較では、順方向KL $74.74\%$ < 逆方向KL $75.49\%$ < JSD $76.05\%$ 。順方向KLは覆いにいきすぎて、劣化した視界からは手が届かない細部まで真似させてしまう。逆方向KLは尖りにいきすぎて、生徒は自信の高い山だけに集まり柔らかい修正信号を捨てる。JSDはその中間だ、と論文は説明します(§4.4)。

FIG 2温度を下げると分布は一点に尖り、上げると平らに広がります。逆方向KLが生徒を「尖る」側へ、順方向KLが「広く覆う」側へ引っぱると考えると、論文がその中間のJSDを選んだ理由が掴めます

限界と、確かめられていないこと

モデルは Qwen3.5 の4Bと9Bのみで、他系統や別スケールでの再現は範囲外です(§4.1)。学習データは自然画像で、縮小やノイズで文字が読めなくなる文書・図表の領域は検証されていません。§4.3の分析は2,048トークン予算のため主結果より低く出ており、内部比較にのみ有効だと論文自身が断っています。自己報酬RLとの比較は相手に有利で、TTRL・Intuitor・RENT は学習が崩壊するため13チェックポイントの最良値、S²VOPD は最終チェックポイントです(§4.2)。そして逆U字やJSD $0.014$ という閾値に理論的説明はなく、観測された経験則にとどまります。

解釈を1つ加えるなら、教師が生徒のEMAである以上、引き出せるのは生徒がすでに持っているが劣化した入力からは出せていない能力です。知らない知識を注入する手段ではありません。論文が明示していない点なので、私の読みとして区別しておきます。

現場ではこう使う

誰が、いつ。 社内の画像データで小型VLMを伸ばしたいMLエンジニアが、画像と質問の対はあるが正解ラベルも領域注釈もない状況に置かれたときです。生徒側の画像変換を数行足すだけなので、アノテーションの見積もりを取る前に試す価値があります。

触るパラメータ（§3.2, §4.1）: 縮小率 $s\sim\mathcal{U}(0.3,0.6)$ で元解像度に戻さない／ガウスノイズを確率 $0.5$ ・標準偏差およそ $0.11$ ／拡張適用率 $p=1$ ／JSD（ $\alpha=0.5$ ）＋教師top-kで台を制限／EMA更新率 $\eta=0.05$ ／1プロンプトあたり rollout $n=8$ 、バッチ96、学習率 $2\times10^{-6}$ 、warmup 10、65〜130ステップ／rollout は vLLM。

監視すべき指標。 強さを手探りするより、最初の10ステップでトークン単位のJSDを測り $0.014$ 付近に着地しているかを見るほうが確かです(§4.3)。拡張の種類を変えても同じ物差しで比べられます。

落とし穴。

「とりあえず自己蒸留」は逆効果。 拡張なしの対称自己蒸留はベースを下回りました（ $65.21\%$ vs $70.58\%$ ）。実装バグで拡張が生徒に届いていないと、静かに性能が落ちます。
ズレを最大化する方向にチューニングしない。 切り出しは最大のズレで最低の性能でした。見るのは「大きさ」ではなく「 $0.014$ 付近か」です。
幾何変換は答えを変えうる。 回転や平行移動をかけると「画面左にあるのは何か」の正解が変わります(§3.2)。空間を問うデータが混ざるなら避けるのが無難です。
縮小後に戻さない。 戻す実装だと視覚トークン数が減らず、コスト削減も情報削減の質も変わります。resize 系は既定で元サイズへ戻すものが多く、明示的な確認が要ります。
順方向KLに倒さない。 $74.74\%$ で最下位でした。生徒に見えていない細部まで真似させることになるためです。

設計レビューで問われる筋道。 「教師と生徒が同じモデルなのに、なぜ学習信号が生まれるのか」——能力差ではなく条件づけの差です。同じ書きかけの文の上で比べるので、差分は「見えているかどうか」だけに由来し、「もっとよく見ろ」という方向を指します。

まとめ

蒸留に必要なのは教師の優位性であって強さそのものではない。生徒から情報を引けば、同じ優位性が無料で作れる
効く条件は2つ。ズレが十分かつ過剰でない（JSDおよそ $0.014$ ）ことと、ズレが質問の答えを壊さないこと
縮小＋ガウスノイズが最も頑健な既定。生徒側の入力が小さくなるので学習コストはむしろ下がる

正解も強い教師も使わない蒸留の別解として、u-OPSD が使う「自分の多数決」も合わせて読むと、非特権的な学習信号の作り方の広がりが見えます。