学生版 社会人版
JA EN

#softmax

5 記事

01 ·蒸留と圧縮·無料·論文·11分で読めます 蒸留の数学 — なぜ「柔らかい答え」から学べるのか Distilling the Knowledge in a Neural Network 蒸留の損失はなぜ KL(教師||生徒) なのか、温度Tは何をしているのか、そして実装で必ず出てくる T² 倍は何の補正なのか。ソフトラベルが正解ラベルより多くを語る理由を、式の導出と動く図で1から追います。 02 ·微分と最適化の数学·★ 会員·16分で読めます 行列微分を1から — 逆伝播の数式を自分で導く ∂L/∂W = XᵀG の Xᵀ はどこから来たのか。行列微分は公式集の暗記ではなく、「トレースの中で dX を右端に回す」という1つの型です。分母レイアウトの形合わせから、線形層とsoftmax+交差エントロピーの勾配導出、倍精度での数値勾配チェックまで。 03 ·数値計算·★ 会員·13分で読めます 数値の落とし穴 — 桁落ち・丸め・logsumexp 「学習を回して3時間後に損失がnanになる」の正体を、浮動小数点の丸め・条件数・桁落ちの順に前提知識ゼロから解きます。最後は、softmaxと交差エントロピーの実装に必ず入っている logsumexp という一つの定石に合流します。 04 ·情報理論·無料·12分で読めます エントロピーと交差エントロピー — 損失関数の出どころ 分類モデルで必ず出てくる交差エントロピー損失は、天下り式に決められたものではありません。「驚きの量」から出発して、エントロピー → 交差エントロピー → あの見慣れた損失式へと一本道でたどり、なぜ二乗誤差ではダメなのかまで説明します。 05 ·CNN・画像認識·無料·10分で読めます 画像分類を1から理解する — 畳み込みという発明 写真をそのまま全結合層に流すと、パラメータが1億個を超え、しかも猫が数画素ずれただけで別物になります。畳み込みはこの2つを「小さな窓を滑らせる」という1つのアイデアで同時に解きました。カーネル・ストライド・パディング・プーリングを式と手触りで押さえ、最後はsoftmaxで確率にするところまで。