#on-policy-distillation

8 記事

01 ·推論・高速化·★ 会員·論文·10分で読めます 論文解説: Beyond Teacher Assignment — 複数の専門家を1つのモデルに蒸留するとき「誰が教えるか」だけでは足りない理由 Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation 数学・コード・指示追従の専門家モデルを1つの生徒に蒸留するMOPDでは、指示追従の教師の声が大きすぎて数学がほとんど移らない。DN-MOPDは教師ごとのフィードバックのばらつきを測って音量をそろえる、1行で足せる改良です。 02 ·★ 会員·論文·11分で読めます 論文解説: SenseNova-U1.5 — エンコーダもVAEも使わず、1つのモデルで「見る」と「描く」を両立する SenseNova-U1.5: Towards Native Unified Visual Intelligence 画像理解用のエンコーダも生成用のVAEも持たず、ピクセルと言葉から直接学ぶ8Bの統合モデル SenseNova-U1.5。パッチの継ぎ目を消す空間デコーダと、「専門家を別々に鍛えてから1つに蒸留する」後学習を、論文本文に沿って1から解説する。 03 ·LLM — 大規模言語モデル·★ 会員·論文·21分で読めます 論文解説: FlowBalance — 検証器で接地した自己改善、自分の推論経験から分布を学ぶ FlowBalance: Verifier-Grounded Self-Improvement from On-Policy Reasoning Experience 自分の答案から学ぶループは、答え合わせが疎すぎるか、自分の自信を鵜呑みにするかで壊れる。FlowBalanceは「密な自己採点の向きを検証器に決めさせる」という一手で両方を回避し、応答全体の正規化分布として学習する。前提知識ゼロから解説する。 04 ·推論・高速化·★ 会員·論文·16分で読めます 論文解説: 訓練データが1問でも、オンポリシー蒸留は数百ステップ伸び続ける Rethinking On-Policy Distillation of Large Language Models II: One Training Example 訓練クエリを1問に絞ってもオンポリシー蒸留は数百ステップ改善し続け、フルデータの伸びの大半を回収する。論文はその理由を「状態カバレッジ」と「吸収率」の2つで説明し、OPDはデータ過多・アルゴリズム不足だと結論づける。 05 ·エージェント·★ 会員·論文·15分で読めます 論文解説: SecOPD — トークン1個ずつ採点して、適応的プロンプトインジェクションを1桁下げる SecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation 防御用に微調整したLLMも、適応的なプロンプトインジェクションにはほぼ100%破られてきた。原因は「出力全体に1つの点数」しか与えない訓練にある。注入前のきれいな入力を見た教師にトークン単位で採点させるSecOPDを、前提知識ゼロから解説する。 06 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: On-Policy Distillationは本当に蒸留しているのか — ノイズまみれの教師から自己改善へ Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement 教師モデルの採点は3〜5割が誤っているのに、生徒はなぜか同じだけ伸びる。On-Policy Distillationの改善が「教師の真似」ではなく「低確率トークンの抑制」から来ていることを突き止め、教師を捨てた手法OPSAに至った論文を、前提知識ゼロから解説する。 07 ·学習手法・アライメント·★ 会員·論文·15分で読めます 論文解説: PaperGym — 論文1本を「採点基準つきの練習場」に変えて研究計画を学習させる PaperGym: Rubric-Centered Evolution for Research-Plan Generation 研究計画には正解がないので強化学習の「環境」が作れない。論文を4つの引き出しに分解し、問いと採点基準を別々の引き出しから作ることで、言い換えでは点が取れない練習場を20,000本ぶん自動生成した研究を、前提知識ゼロから解説する。 08 ·推論・高速化·★ 会員·論文·19分で読めます 論文解説: Self-OPD — 教師モデルなしで、画像生成モデルが自分を蒸留する Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher 教師モデルを使わず、生成の各ステップで自分の分身をK本つくって採点し、良い枝に引き寄せ悪い枝から遠ざける。フローマッチング系画像生成のアライメント手法 Self-OPD を、前提知識ゼロから解説します。