体系 › AIのための数学

線形代数

ベクトル・行列・固有値・特異値分解。次元とは何か

01 ·線形代数·無料·9分で読めます AIのための線形代数 — ベクトルと行列が何をしているのか 行列式もクラメルの公式も要りません。AIの論文に本当に出てくるのは、ベクトル＝意味を置く座標と、行列＝その座標を運ぶ変換、この2つだけです。内積がなぜ「意味の近さ」になるのかから、Attentionの式を記号ごとに読み下すところまで。 02 ·線形代数·無料·10分で読めます LoRAとRAGを支える線形代数 — 固有値・低ランク・ベクトル検索を、動かして掴む 行列は空間の変形、固有ベクトルは変形しても向きが変わらない方向、SVDはその一般化、内積は「似ている」の定義。LoRAのΔW=BAとRAGのベクトル検索がどちらも同じ線形代数の上に建っていることを、4つの動く図と数式で確かめる。読むだけでなく、スライダーとドラッグで手を動かすためのコラム。 03 ·線形代数·★ 会員·論文·13分で読めます 特異値分解と低ランク近似 — LoRAの数学的な下地 LoRA: Low-Rank Adaptation of Large Language Models 特異値分解（SVD）を「回す・伸ばす・回す」の比喩から出発し、行列がrank-1の層の重ね合わせであること、実データでは少数の層だけで十分なこと（低ランク近似）までを前提知識ゼロから解説。LoRAが巨大モデルを0.4%のパラメータで微調整できる理由の、数学的な土台を作る。 04 ·線形代数·無料·論文·13分で読めます ゼロから学ぶ主成分分析（PCA） — 固有ベクトルはデータの軸 On Lines and Planes of Closest Fit to Systems of Points in Space 相関したデータの雲には「木目」がある——いちばん大きくばらつく方向だ。主成分分析（PCA）はその木目を見つける仕掛けである。この記事は1枚の絵から組み立てる——データを中心化し、どの方向が最も分散を持つかを問うと、その答えが共分散行列の固有ベクトルになる。固有値は各軸に沿った分散そのもので、上位いくつかの軸が次元削減を与え、寄与率が「何を捨てたか」を教えてくれる。 05 ·線形代数·★ 会員·17分で読めます 行列分解ツアー — LU・QR・コレスキー・SVDの使い分け 行列分解は「同じ変形を、扱いやすい部品の掛け算に書き直す」操作です。解く(LU)・半額で解く(コレスキー)・直交化して最小二乗(QR)・壊れた行列でも扱う(SVD)の4つを、なぜ逆行列を作ってはいけないのかから始めて、選び方の一枚表とnumpyの実装まで一気につなぎます。 06 ·線形代数·無料·14分で読めます テンソルと形状操作 — einsumが読めれば論文が読める 論文の Σ_j A_ij B_jk と、コードの x.transpose(1,2) は同じことを言っています。その橋渡しをするのが einsum 記法です。軸・ブロードキャスト・縮約という3つの道具だけで、Attentionの実装が1行で書けるところまで。 07 ·線形代数·★ 会員·論文·12分で読めます 対称性と等変性 — 群論がネットワーク設計に効く Group Equivariant Convolutional Networks 「ずらしても猫は猫」をネットワークの構造そのものに焼き込む考え方を、群の4条件から等変性の定義式、CNNのパラメータ共有、AlphaFoldのフレームまで一本につなぎます。対称性を課すのが逆効果になる場面も含めて。