学生版 社会人版
JA EN

#kl-divergence

7 記事

01 ·蒸留と圧縮·★ 会員·論文·13分で読めます オンポリシー蒸留 — 生徒自身の出力で教わる On-Policy Self-Distillation without Any Supervision 教師の書いた文を写経するのが従来の蒸留、生徒が書いた文に教師が赤を入れるのがオンポリシー蒸留です。違いは損失の式のたった1か所。その1か所が露出バイアスを消し、蒸留を強化学習の一種に変え、u-OPSD や AgentOPSD のような自己蒸留への入口になります。 02 ·蒸留と圧縮·無料·論文·11分で読めます 蒸留の数学 — なぜ「柔らかい答え」から学べるのか Distilling the Knowledge in a Neural Network 蒸留の損失はなぜ KL(教師||生徒) なのか、温度Tは何をしているのか、そして実装で必ず出てくる T² 倍は何の補正なのか。ソフトラベルが正解ラベルより多くを語る理由を、式の導出と動く図で1から追います。 03 ·蒸留と圧縮·★ 会員·論文·10分で読めます 蒸留が失敗するとき — 容量ギャップと過信の伝染 DAPD: Dual-Anchored Policy Distillation 強い教師を使えば強い生徒ができる、とは限りません。器が小さいと平均だけが伝わる容量ギャップ、教師の自信ごと写す過信の伝染、教師が一度も通らない道を生徒が歩く分布シフト — 蒸留が壊れる3つの型を、前提知識ゼロから解きほぐします。 04 ·蒸留と圧縮·★ 会員·論文·15分で読めます 【実装】蒸留を自作する — 100行で小さなモデルを育てる Distilling the Knowledge in a Neural Network 蒸留の損失は20行で書けます。にもかかわらず自作するとほぼ全員が同じ場所で転ぶ — KLの向き、reductionの選び方、T²の付け忘れ。教師の凍結から損失、訓練ループ、教師なしベースラインとの比較、温度スイープ、そして「実装が壊れていないこと」を確かめる4つの検算までを、100行のコードで通します。 05 ·LLM — 大規模言語モデル·★ 会員·論文·13分で読めます 知識蒸留を1から — 大きなモデルを小さく写す Distilling the Knowledge in a Neural Network 正解ラベルには「犬と猫は似ている」と書かれていません。でも訓練済みモデルの出力にはそれが入っている — この差が知識蒸留の全部です。ソフトラベルと温度つきsoftmax、T²の由来、系列レベル蒸留、合成データ蒸留、そしてDeepSeek-R1が推論の手続きごと小さいモデルへ写した話まで、前提知識ゼロから。 06 ·情報理論·★ 会員·論文·12分で読めます KL情報量を1から — 2つの分布の「ズレ」を測る Training language models to follow instructions with human feedback 2つの確率分布の「ズレ」を測るKL情報量を、圧縮の無駄払いという比喩から定義・非対称性・numpy実装へと積み上げる。後半はVAEの正則化項とRLHFのKLペナルティという2大応用で、この量が現代のAIをどう支えているかまでつなげる。 07 ·情報理論·★ 会員·11分で読めます 情報理論とAI — 交差エントロピー損失はどこから来たのか 情報量は驚きの大きさ、エントロピーは平均の驚き、KL情報量は2つの分布のズレ。この3つを積み上げると、分類でいつも使っているあの損失関数が必然として出てきます。なぜ対数なのか、なぜあの形なのか、そしてperplexityが何を数えているのかまで。