用語集 › low-rank
GLOSSARY
low-rank
低ランクの。少ない自由度で表す
5本の論文題名に登場
定義
大きな行列を、それより少ない自由度、すなわち小さな行列の積で近似できる性質を指す。重みの更新が実は低次元の部分空間に収まるという観察が LoRA の根拠になっており、記憶量と計算量を大きく削れる。情報を捨てる近似なので、ランクをどこまで下げられるかが精度との取引になる。
論文題名での読み方
LoRAの仕組み
この語が出てくる解説
- 論文解説: Normalized Low-Rank Adaptation — LoRAの「入口行列」を正規化するだけで効く理由Normalized Low-Rank Adaptation
- 画像生成の実務地図 — SD・ControlNet・LoRA適用LoRA: Low-Rank Adaptation of Large Language Models
- 特異値分解と低ランク近似 — LoRAの数学的な下地LoRA: Low-Rank Adaptation of Large Language Models