学生版 社会人版
JA EN

#low-rank

1 記事

01 ·線形代数·★ 会員·論文·13分で読めます 特異値分解と低ランク近似 — LoRAの数学的な下地 LoRA: Low-Rank Adaptation of Large Language Models 特異値分解（SVD）を「回す・伸ばす・回す」の比喩から出発し、行列がrank-1の層の重ね合わせであること、実データでは少数の層だけで十分なこと（低ランク近似）までを前提知識ゼロから解説。LoRAが巨大モデルを0.4%のパラメータで微調整できる理由の、数学的な土台を作る。