学生版 社会人版
JA EN

#entropy

4 記事

01 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: On-Policy Distillationは本当に蒸留しているのか — ノイズまみれの教師から自己改善へ Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement 教師モデルの採点は3〜5割が誤っているのに、生徒はなぜか同じだけ伸びる。On-Policy Distillationの改善が「教師の真似」ではなく「低確率トークンの抑制」から来ていることを突き止め、教師を捨てた手法OPSAに至った論文を、前提知識ゼロから解説する。 02 ·情報理論·★ 会員·論文·14分で読めます 相互情報量 — 「知っている」を測る Representation Learning with Contrastive Predictive Coding 片方を知ると、もう片方の迷いがどれだけ減るか。それを1つの数字にしたのが相互情報量です。エントロピーの引き算という定義から、条件付き相互情報量・データ処理不等式・推定の難しさを経て、対照学習のInfoNCEがなぜ「相互情報量の下限」と呼ばれるのかまでをつなげます。 03 ·情報理論·無料·12分で読めます エントロピーと交差エントロピー — 損失関数の出どころ 分類モデルで必ず出てくる交差エントロピー損失は、天下り式に決められたものではありません。「驚きの量」から出発して、エントロピー → 交差エントロピー → あの見慣れた損失式へと一本道でたどり、なぜ二乗誤差ではダメなのかまで説明します。 04 ·情報理論·★ 会員·11分で読めます 情報理論とAI — 交差エントロピー損失はどこから来たのか 情報量は驚きの大きさ、エントロピーは平均の驚き、KL情報量は2つの分布のズレ。この3つを積み上げると、分類でいつも使っているあの損失関数が必然として出てきます。なぜ対数なのか、なぜあの形なのか、そしてperplexityが何を数えているのかまで。