行列微分を1から — 逆伝播の数式を自分で導く

∂L/∂W = XᵀG の Xᵀ はどこから来たのか。行列微分は公式集の暗記ではなく、「トレースの中で dX を右端に回す」という1つの型です。分母レイアウトの形合わせから、線形層とsoftmax+交差エントロピーの勾配導出、倍精度での数値勾配チェックまで。

つまみが表になると、微分も表になる

スープが塩辛いとき犯人の調味料を疑う話は誤差逆伝播を1から解説で扱いました。あそこで追いかけたつまみは数個でしたが、現実のニューラルネットは1枚の層だけで数十万個のつまみを持ちます。しかもそれは一列に並んだ数ではなく、行と列を持つ表、つまり行列の形をしています。

学校で習った微分は「数を入れたら数が出る関数」の話でした。ところが深層学習で微分したい相手は、「表を入れたら1つの数（損失）が出る関数」です。この形の微分を行列微分（matrix calculus）と呼びます。

目的は公式集の暗記ではなく、backward の式を自分で導けて検算できるようになることです。$\partial L/\partial W = X^\top G$ を「そういうもの」と受け入れているうちは、自作の層で形が合わない瞬間に手が止まります。

勾配は「同じ形の地図」

いちばん大事な事実から言います。スカラーの損失を何かで微分すると、結果はその何かと同じ形になります。

$W$ が $3\times4$ の行列なら $\partial L / \partial W$ も $3\times 4$ で、その $(i,j)$ 成分は

つまり「$W$ の $i$ 行 $j$ 列のつまみをほんの少し回すと、損失 $L$ が何倍の勢いで動くか」という、ごく普通の偏微分です。それを、つまみと同じ座席表どおりに置き直しただけ。$3\times4$ の勾配とは、12個の偏微分を元の配置で並べた地図です。新しい概念は増えていません。

では何が難しいのか。「1個ずつ計算するのが現実的でない」ことです。$W$ が $4096\times4096$ なら成分は1600万個あります。行列のまま一発で書き下す技術が要る。それが行列微分です。

分母レイアウト — 転置がひっくり返る理由

教科書を2冊開くと、同じ量の定義が転置している。これが行列微分でいちばん時間を溶かす罠ですが、原因は難しい数学ではなく並べ方の流儀が2つあることだけです。

ベクトル $y$（$m$ 成分）をベクトル $x$（$n$ 成分）で微分した結果を考えます。中身は $m\times n$ 個の偏微分 $\partial y_i / \partial x_j$ で、どちらの流儀でも同じものです。違うのは並べ方。

• 分子レイアウト: 分子（$y$）の番号を行にする。$m \times n$。ふつう「ヤコビアン」と呼ぶ形
• 分母レイアウト: 分母（$x$）の番号を行にする。$n \times m$。分子レイアウトの転置

深層学習が採っているのは折衷です。スカラーを何かで微分するときは分母レイアウト（勾配は元と同じ形）、ヤコビアンを明示的に書くときは分子レイアウト。混ざっても破綻しないのは、フレームワークが外に出すのが常に「スカラー損失の勾配」だからです。

覚え方は1つで足ります。形が合う方が正解。$X^\top G$ と $G^\top X$ のどちらだったか思い出せなくても、$W$ と同じ形になる方を選べば当たる。転置の向きを暗記しようとするのが、いちばん報われない努力です。

覚える型は1つだけ

成分ごとに $\sum_k$ を書き下す導出は、添字が3つを超えると必ず間違えます。実務で使うのは微分形式（differential）という道具で、型はこれだけです。損失の微小変化を

の形に整理できたら、$\partial L/\partial X = G$。ここで $\mathrm{d}X$ は「$X$ をほんの少し動かしたときの、その動かし方」（$X$ と同じ形の行列）、$\mathrm{tr}$ は対角成分の和（トレース）です。要するに損失の揺れを「動かし方との内積」の形に書き直せたら、その相手が勾配、と言っているだけです。

なぜトレースが出るのか。$\mathrm{tr}(G^\top X)$ を成分で書くと $\sum_{i,j} G_{ij}X_{ij}$、つまり2つの表を平らに伸ばして取った内積そのものだからです。1変数の $\mathrm{d}L = g\,\mathrm{d}x$（傾き×動かした量）を成分の多い版に持ち上げると掛け算が内積になる。それをトレースという記法で書いただけで、身構える必要はありません。

3つの規則と、「トレースを回す」

型に流し込むために使う規則は3つしかありません。

• 積の微分: $\mathrm{d}(AB) = (\mathrm{d}A)B + A(\mathrm{d}B)$
• 転置は素通り: $\mathrm{d}(A^\top) = (\mathrm{d}A)^\top$
• トレースは回せる: $\mathrm{tr}(AB) = \mathrm{tr}(BA)$、$\mathrm{tr}(A) = \mathrm{tr}(A^\top)$

3つ目が導出の心臓です。$\mathrm{d}X$ が式の真ん中に埋まっていても、トレースの中では順番をぐるりと回して右端へ持ってこられます。右端に出して $\mathrm{tr}\big((\text{何か})^\top\, \mathrm{d}X\big)$ の形にできたら、その「何か」が答えの勾配です。行列微分の導出とは、式を睨んで $\mathrm{d}X$ を右端へ追いやる作業にすぎません。

線形層の勾配を、自分で導く

いちばん出てくる線形層（全結合層）の順伝播はこれです。

$$Y = XW + \mathbf{1}b^\top$$

$X$ は入力で $N\times d_{\text{in}}$（$N$ はバッチのサンプル数）、$W$ は重みで $d_{\text{in}}\times d_{\text{out}}$、$b$ はバイアスで $d_{\text{out}}$ 次元、$\mathbf 1$ は全成分1の $N$ 次元縦ベクトルで $b$ を全サンプルにコピーする役です。上流から降りてきた勾配 $G = \partial L/\partial Y$（$Y$ と同じ $N\times d_{\text{out}}$）は手元にあるとします。