2026-08-22·★ 会員·論文·15分で読めます

論文解説: S²VOPD — 教師を強くする代わりに、生徒の目を曇らせる

正解ラベルも報酬も強い教師も使わずに視覚VLMを伸ばす S²VOPD を、論文本文に沿って解説。生徒側の画像だけを劣化させて「情報の非対称性」を作る反転の発想と、効く拡張・効かない拡張の切り分けを扱う。

#distillation #on-policy #vlm #self-supervised #augmentation #paper-review

Self-Supervised Visual On-Policy Distillation

一次資料 — この記事の根拠

論文の発表 2026-08-14→この解説の公開 2026-08-22同月

Self-Supervised Visual On-Policy DistillationYijiang Li, Yijun Liang, Yunjie Tian ほか · 2026-08-14 · v1arXiv:2608.14144論文ページ·PDF

原文の要旨（Abstract）を読む

Visual on-policy distillation relies heavily on an informative teacher-student asymmetry, through either a larger, stronger teacher or privileged supervision, such as reference answers or ground-truth regions of interest. This raises a fundamental question: where can informative asymmetry come from when nothing privileged is available? We answer this by inverting where the asymmetry comes from. Rather than adding privileged information to the teacher, we subtract information from the student. This asymmetry creates the same effective learning signal for free as a teacher with access to information unavailable to the student, without ground-truth annotations, rewards, or a separate stronger teacher model. Building on this principle, we introduce Self-Supervised Visual On-Policy Distillation (S$^2$VOPD), a simple yet effective method that constructs on-policy learning signals from asymmetric augmented views. S$^2$VOPD distills the teacher's distribution conditioned on the original image on-policy into the student distribution conditioned on a strongly augmented view of the same image. We systematically explore a broad design space of visual augmentations and uncover that (1) asymmetry matters: all four augmentation families improve performance, while symmetric self-distillation degrades it; (2) strength matters: performance peaks at a moderate strength; and (3) the gap must remain task-consistent: augmentations that completely remove the question-relevant evidence can induce large but uninformative discrepancies. Across six fine-grained perception benchmarks, S$^2$VOPD improves Qwen3.5-4B from 70.7% to 77.4%, above all open-source models compared, up to Qwen3-VL at 235B, and surpasses GPT-5.4. While holding training data the same, it recovers 96% of the improvement achieved by methods with privileged information. Website is at https://williamium3000.github.io/s2vopd

「教師が強い」以外に、伸ばす手はあるのか

蒸留（distillation）は、よくできたモデル（教師）の答え方を別のモデル（生徒）に写し取る手法です。近年の on-policy 蒸留 はこれを一歩進めます。模範解答を丸写しさせるのではなく、生徒に自分の言葉で書かせたうえで、その一語ごとの分かれ道に教師が「私ならこの語を選ぶ確率はこれくらい」と赤ペンを入れる。生徒が実際に立っている場所で採点するので、練習と本番のズレが小さくなります。

ただし前提があります。教師が生徒より何かを知っていることです。論文はこれを「教師と生徒の情報の非対称性」と呼び、蒸留の中心に置きます(§1)。赤ペンを持つ側が生徒と同じことしか知らないなら、書き込まれるのは自己肯定でしかありません。従来この非対称性は、教師を大きく強いモデルにするか、教師にだけ特権情報（正解の解答文、環境からのフィードバック、正解領域の注釈など）を渡すかで用意されてきました。どちらも外から供給する必要があり、モデルが強くなるほど人間の監督は追いつかなくなります。

そこで論文は問います。特権的なものが何もないとき、有益な非対称性はどこから来るのか。答えは向きの反転でした。教師に情報を足すのではなく、生徒から情報を引く。教師は元の画像を、生徒は同じ画像の劣化版を見る。それだけで「教師が生徒には見えないものを持っている」状況が無料で成立します。

比喩: すりガラス越しに同じ写真を見る

同じ写真を2人で見ています。教師は素通しのガラス越し、生徒はすりガラス越し。2人とも「奥のベンチに座っているのは何人か」に答えます。生徒が「たぶん2人」、教師が「3人だ」と言ったとき、この食い違いは能力差ではなく見えている情報量の差から生まれています。だからこの差には「もっとよく見ろ」という方向が含まれている。正解を知っている人は部屋に誰もいないのに、学習信号が立ち上がる。これが S²VOPD（Self-Supervised Visual On-Policy Distillation）の核です。

論文が相手にしているのは細かい知覚を問うタスクです。評価には V*Bench、ZoomBench、HR-Bench 4K/8K、MME-RealWorld とその中国語版という6つの知覚ベンチマークと、MathVista・MathVerse・MathVision の3つの数学推論ベンチマークを使います(§4.1)。高解像度の写真に写った小さな一点を見つけて答える、という形の問題が中心です。だからこそ「見えている情報量」を人工的に削る操作が、意味のある学習信号になります。学習側は FineVision の自然画像から抜いた画像と質問の対で、正解ラベルは一切使いません(§4.1)。

仕組み: 教師は生徒自身の分身

生徒を $\pi_\theta$ 、教師を $\pi_\phi$ と書きます。教師は別に用意した強いモデルではなく、生徒の重みの指数移動平均（EMA）です(§3.1)。

\phi \leftarrow (1-\eta)\,\phi + \eta\,\theta

(1)

$\phi$ が教師の重み、 $\theta$ が生徒の重み、 $\eta$ が更新率。式(1)は「教師の重みを生徒の重みへ少しずつ寄せる」と言っているだけで、教師は生徒の少し前の姿をならした分身です。この式が言っているのは要するに、教師とは「生徒がこれまでに通ってきた姿の移動平均」だということ。 $\eta$ を小さくするほど教師の動きは鈍くなり、生徒の直近のブレに引きずられなくなります。

画像と質問の組 $(x,q)$ ごとに確率的な変換 $T$ を引き、生徒用の見え方 $\tilde{x}=T(x)$ を作ります。生徒は $\tilde{x}$ を見ながら応答を自分で書き、教師は同じ書きかけの文を元画像 $x$ のもとで採点する。拡張がかかるのは生徒側だけで、教師は常に元画像を見ます(§3.1)。

「自分で書かせる」ところが on-policy の意味です。用意した正解文の上で比べると、生徒が実際には決して通らない文の上で採点することになり、学習時と推論時で分布がずれます。生徒自身に $n$ 本（既定は8本）書かせてその上で採点すれば、赤ペンが入るのは生徒が本当に迷う分かれ道だけになります。なお教師側に勾配は流れません。

FIG 1これはJPEG圧縮の図ですが、体感してほしいのは「劣化の強さ」そのものです。Q値を下げると、どこまでなら中身をまだ言い当てられ、どこから先は質問自体が答えられなくなるか。S²VOPDが探しているのはちょうどその境目の手前です

損失: 同じ文の上で、2つの分布を比べる

目的関数は、生徒が自分で書いた軌跡に沿って各トークン位置での教師分布と生徒分布のズレを測り、その平均を最小化します(§3.1)。

\mathcal{L}(\theta)=\mathbb{E}_{(x,q)\sim\mathcal{D}}\;\mathbb{E}_{y\sim\pi_\theta(\cdot\mid\tilde{x},q)}\!\left[\frac{1}{|y|}\sum_{t=1}^{|y|} D\big(\pi_\phi(\cdot\mid x,q,y_{<t})\,\big\|\,\pi_\theta(\cdot\mid\tilde{x},q,y_{<t})\big)\right]

(2)

$y$ は生徒の応答、 $y_{<t}$ はその途中まで、 $D$ は2分布のズレを測る量です。同じ書きかけの文を両者に見せ、次の語の確率分布を突き合わせ、長さで割って平均する。教師と生徒で違うのは画像の条件づけだけなので、ズレは「見えているかどうか」だけに由来します。

論文解説: S²VOPD — 教師を強くする代わりに、生徒の目を曇らせる

「教師が強い」以外に、伸ばす手はあるのか

比喩: すりガラス越しに同じ写真を見る

仕組み: 教師は生徒自身の分身

損失: 同じ文の上で、2つの分布を比べる

ここから先は会員限定です

参考文献

コメント