lora

定義

Low-Rank Adaptation の略で、元の重みを凍結したまま、更新分だけを低ランクの小さな行列の積で表して学習する微調整手法。学習・保存すべきパラメータが桁違いに減るため、消費者向け GPU でも大規模モデルを目的別に調整でき、成果物を数十 MB のアダプタとして配布できる。画像生成モデルの追加学習でも定番。

論文題名での読み方

軽量な追加学習の定番

この語が出てくる解説

• 画像生成の実務地図 — SD・ControlNet・LoRA適用LoRA: Low-Rank Adaptation of Large Language Models
• 特異値分解と低ランク近似 — LoRAの数学的な下地LoRA: Low-Rank Adaptation of Large Language Models
• 論文解説: Macaron-V1 — 凍結ベース×LoRA混合で「出荷後も育つ」エージェントモデルを作るMacaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA