adaptation

定義

既に学習済みのモデルを、新しい課題やドメイン、利用者に合わせて作り替えること。ゼロから訓練するより桁違いに安く済むため、基盤モデルを土台に各用途へ枝分かれさせる現在の開発形態を支えている。全パラメータを更新する fine-tuning のほか、LoRA のように一部だけ足す軽量な方法も含む広い語。

論文題名での読み方

微調整・転用を指す

この語が出てくる解説

• 論文解説: Retrieval-Augmented Skill Optimization via Cross-Harness Adaptation — 他人のスキルを借り、自分の環境の言葉に書き直すRetrieval-Augmented Skill Optimization via Cross-Harness Adaptation
• QLoRA — 650億パラメータのモデルをGPU 1枚で微調整するLoRA: Low-Rank Adaptation of Large Language Models
• ゼロから学ぶLoRA — 細い行列2枚だけを学習して巨大モデルを微調整するLoRA: Low-Rank Adaptation of Large Language Models