学生版 社会人版
JA EN
体系 › 計算アルゴリズム

数値計算

行列積・分解・FFT・反復法。AIの計算はほぼここに帰着する

01 ·数値計算·★ 会員·10分で読めます 行列積のコスト — AIの計算はほぼここに帰着する なぜGEMMが全てなのか。O(n³)の内訳、メモリ帯域と演算強度、GPUが速い理由、タイル化の直感。最後に、AIモデルの学習・推論に必要なFLOPsを自分の手で見積もれるところまで持っていきます。 02 ·数値計算·★ 会員·論文·12分で読めます FFTを1から理解する — なぜ畳み込みが掛け算になるのか An Algorithm for the Machine Calculation of Complex Fourier Series (Cooley & Tukey 音を周波数に分解するフーリエ変換を、比喩→回転する針の直感→DFTの式→分割統治のFFTの順に前提知識ゼロから解説。畳み込みがなぜ周波数領域では掛け算1回になるのか、多項式の積の視点で腹落ちさせる。 03 ·数値計算·★ 会員·13分で読めます 数値の落とし穴 — 桁落ち・丸め・logsumexp 「学習を回して3時間後に損失がnanになる」の正体を、浮動小数点の丸め・条件数・桁落ちの順に前提知識ゼロから解きます。最後は、softmaxと交差エントロピーの実装に必ず入っている logsumexp という一つの定石に合流します。 04 ·数値計算·無料·14分で読めます 自動微分の仕組み — PyTorchの魔法を1から loss.backward() と書くだけで何百万個ものパラメータの微分が出てくるのはなぜか。計算グラフ・連鎖律・前進モードと後退モードを前提知識ゼロから解き、40行のミニautogradまで自作します。 05 ·数値計算·★ 会員·16分で読めます 連立方程式の解き方 — 直接法と反復法 橋のたわみも部屋の温度もガウス過程回帰も、計算機にやらせる段では Ax=b という同じ形に化けます。消していく直接法（LU）と近づいていく反復法（共役勾配法）を、なぜ100万元の方程式が消去法で解けないのかから始めて、条件数・前処理・matrix-free まで前提知識ゼロでつなぎます。 06 ·数値計算·★ 会員·18分で読めます 【実装】自動微分を自作する — 100行のミニPyTorch Valueクラス1つから始めて、演算子オーバーロード・トポロジカル順序・勾配の加算までを組み上げ、その上にニューラルネットを載せて学習させます。設計の理由を辿ると、zero_grad() や retain_graph が仕様の暗記ではなく必然に変わります。