#on-policy

5 記事

01 ·推論・高速化·★ 会員·論文·11分で読めます 論文解説: When EOS Tokens Disagree — オンポリシー蒸留で生徒が「止まれなくなる」原因は終了トークンの食い違いだった When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation オンポリシー蒸留(OPD)で生徒の応答が生成上限まで伸び続ける「長さの膨張」。その大きな原因が、生徒と教師で「終わり」を表す特殊トークンが食い違うことだと示した論文(arXiv:2609.20511)を、本文だけを根拠に1から解説する。 02 ·音声系·★ 会員·論文·14分で読めます 論文解説: X-AuT — 音声エンコーダの層を「2枚ずつ」抜いて、大きい教師で埋め戻す X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation 音声LLMの音声エンコーダから層を丸ごと抜くと、デコーダが「もう終わり」と早合点して文字が消える。X-AuTは、短い試走で抜く層の組合せを選び、大きい教師からの蒸留と学生自身の文脈での監督、LoRAの3段階で埋め戻す。Qwen3-ASR-0.6Bを18層→16層にしてマクロ平均誤差5.61%→5.27%、14層でも5.75%という単一実行の数字を、式と手順で読み解く。 03 ·蒸留と圧縮·★ 会員·論文·13分で読めます オンポリシー蒸留 — 生徒自身の出力で教わる On-Policy Self-Distillation without Any Supervision 教師の書いた文を写経するのが従来の蒸留、生徒が書いた文に教師が赤を入れるのがオンポリシー蒸留です。違いは損失の式のたった1か所。その1か所が露出バイアスを消し、蒸留を強化学習の一種に変え、u-OPSD や AgentOPSD のような自己蒸留への入口になります。 04 ·無料·論文·15分で読めます 論文解説: S²VOPD — 教師を強くする代わりに、生徒の目を曇らせる Self-Supervised Visual On-Policy Distillation 正解ラベルも報酬も強い教師も使わずに視覚VLMを伸ばす S²VOPD を、論文本文に沿って解説。生徒側の画像だけを劣化させて「情報の非対称性」を作る反転の発想と、効く拡張・効かない拡張の切り分けを扱う。 05 ·推論・高速化·無料·論文·11分で読めます 論文解説: DAPD — 蒸留の教師が持つ「カンニングペーパーの幻想」を二重アンカーで断つ DAPD: Dual-Anchored Policy Distillation 模範解答を見た教師から蒸留すると、生徒は本番で「見えない答えを思い出したふり」をする——この privilege illusion の根本原因を情報の非対称性と特定し、二重のアンカーで解消する DAPD (arXiv:2608.01735) を論文本文だけを根拠に解説する。