#low-rank

3 記事

01 ·学習手法・アライメント·無料·論文·23分で読めます ゼロから学ぶLoRA — 細い行列2枚だけを学習して巨大モデルを微調整する LoRA: Low-Rank Adaptation of Large Language Models 7Bモデルの全パラメータ微調整は、実質的な中身が小さい仕事のために100 GB超のオプティマイザ状態を要求する。LoRAの主張は、モデルに必要な「変化」は低ランクだから、細い行列2枚の積 ΔW = BA として保持できる、というもの。この記事はコストの問題から出発してそれを組み立て、式を1行ずつ分解し、なぜ B が0から始まるのか、α/r は何のためなのかを説明し、実モデルでパラメータ数を数え、最後に本当に重要な3つの判断——ランク、対象レイヤ、推論時のマージ——で締める。 02 ·学習手法・アライメント·無料·論文·13分で読めます LoRA と全パラメータ微調整 — 何を失い、何を得るか LoRA: Low-Rank Adaptation of Large Language Models LoRAは重みの更新を ΔW=BA という細い2枚の行列に押し込む手法です。なぜそれで足りるのか、全パラメータ微調整に対して何を得て何を失うのか、rankの決め方とマージの落とし穴までを前提知識ゼロから解説します。 03 ·線形代数·★ 会員·論文·13分で読めます 特異値分解と低ランク近似 — LoRAの数学的な下地 LoRA: Low-Rank Adaptation of Large Language Models 特異値分解（SVD）を「回す・伸ばす・回す」の比喩から出発し、行列がrank-1の層の重ね合わせであること、実データでは少数の層だけで十分なこと（低ランク近似）までを前提知識ゼロから解説。LoRAが巨大モデルを0.4%のパラメータで微調整できる理由の、数学的な土台を作る。