lora

定義

Low-Rank Adaptation の略で、元の重みを凍結したまま、更新分だけを低ランクの小さな行列の積で表して学習する微調整手法。学習・保存すべきパラメータが桁違いに減るため、消費者向け GPU でも大規模モデルを目的別に調整でき、成果物を数十 MB のアダプタとして配布できる。画像生成モデルの追加学習でも定番。

論文題名での読み方

軽量な追加学習の定番

この語が出てくる解説

• 論文解説: Transformers Stop Thinking Too Early — 3行で止まる参照追跡を、1層のランク8 LoRAが50行へ伸ばすTransformers Stop Thinking Too Early, and a Tiny LoRA Fixes It
• QLoRA — 650億パラメータのモデルをGPU 1枚で微調整するLoRA: Low-Rank Adaptation of Large Language Models
• ゼロから学ぶLoRA — 細い行列2枚だけを学習して巨大モデルを微調整するLoRA: Low-Rank Adaptation of Large Language Models