学生版 社会人版
JA EN
ホーム › AIのための数学

∫ FIELD

AIのための数学

AIの論文を読むために本当に必要な数学だけを、記号の意味から。線形代数・微積・確率統計・情報理論・最適化。

0章 16基礎 11論文解説 0動かす

この巻は ①教科書 → ②基礎 → ③論文解説 → ④ラボ の順に進むと、前提を飛ばさずに読めます。

② 基礎

前提知識を置かずに、その分野の考え方を組み立てる記事。ジャンル順に並べています。

線形代数

ベクトル・行列・固有値・特異値分解。次元とは何か

  1. AIのための線形代数 — ベクトルと行列が何をしているのか 無料
  2. LoRAとRAGを支える線形代数 — 固有値・低ランク・ベクトル検索を、動かして掴む 無料
  3. 行列分解ツアー — LU・QR・コレスキー・SVDの使い分け ★ 会員
  4. テンソルと形状操作 — einsumが読めれば論文が読める 無料

微分と最適化の数学

偏微分・勾配・連鎖律・凸性・ラグランジュ

  1. AIのための微分 — 勾配は「どちらに動けば良くなるか」の矢印 無料
  2. 行列微分を1から — 逆伝播の数式を自分で導く ★ 会員
  3. ヤコビアンとヘッセ行列 — 多変数の微分を図で ★ 会員
  4. 変分法 — 「関数を微分する」とはどういうことか ★ 会員

確率・統計

分布・期待値・ベイズ・最尤推定・サンプリング

  1. AIのための確率・統計 — モデルの出力は確率である ★ 会員
  2. ベイズ的に考える — 事前・尤度・事後の実務感覚 ★ 会員
  3. マルコフ連鎖を1から — 「今だけ見る」確率過程 ★ 会員
  4. 確率分布図鑑 — 正規・ポアソン・指数族はどこから来るか 無料
  5. モンテカルロ法を1から — 積分をサイコロで解く ★ 会員
  6. 統計的検定とABテスト — p値の使い方と誤用 ★ 会員

情報理論

エントロピー・KL情報量・交差エントロピー。損失関数の出どころ

  1. 情報理論とAI — 交差エントロピー損失はどこから来たのか ★ 会員
  2. エントロピーと交差エントロピー — 損失関数の出どころ 無料

③ 論文解説

元の論文を読んで書いた解説。各記事に論文ページとPDFへのリンクを付けています。

  1. 圧縮＝予測＝知能 — 情報理論から見るLLM ★ 会員 arXiv:2309.10668
  2. 対称性と等変性 — 群論がネットワーク設計に効く ★ 会員 arXiv:1602.07576
  3. カーネル法とガウス過程 — NN以前の王者 ★ 会員 arXiv:1206.2944
  4. 最適輸送 — 分布を運ぶ数学 ★ 会員 arXiv:1306.0895
  5. 統計学習理論 — なぜ学習は汎化するのか ★ 会員 arXiv:1611.03530
  6. 相互情報量 — 「知っている」を測る ★ 会員 arXiv:1807.03748
  7. SGDの先へ — Adam・二次法・制約付き最適化 ★ 会員 arXiv:1412.6980
  8. ベイズの定理をAIで使う — 事前分布・事後分布・不確実性 ★ 会員 arXiv:1706.04599
  9. 凸性と最適化 — なぜ深層学習は「凸でない」のに動くのか ★ 会員 arXiv:1406.2572
  10. KL情報量を1から — 2つの分布の「ズレ」を測る ★ 会員 arXiv:1312.6114
  11. 特異値分解と低ランク近似 — LoRAの数学的な下地 ★ 会員 arXiv:2106.09685