low-rank

定義

大きな行列を、それより少ない自由度、すなわち小さな行列の積で近似できる性質を指す。重みの更新が実は低次元の部分空間に収まるという観察が LoRA の根拠になっており、記憶量と計算量を大きく削れる。情報を捨てる近似なので、ランクをどこまで下げられるかが精度との取引になる。

論文題名での読み方

LoRAの仕組み

この語が出てくる解説

• QLoRA — 650億パラメータのモデルをGPU 1枚で微調整するLoRA: Low-Rank Adaptation of Large Language Models
• ゼロから学ぶLoRA — 細い行列2枚だけを学習して巨大モデルを微調整するLoRA: Low-Rank Adaptation of Large Language Models
• LoRA と全パラメータ微調整 — 何を失い、何を得るかLoRA: Low-Rank Adaptation of Large Language Models