#adapters

1 記事

01 ·学習手法・アライメント·無料·論文·23分で読めます ゼロから学ぶLoRA — 細い行列2枚だけを学習して巨大モデルを微調整する LoRA: Low-Rank Adaptation of Large Language Models 7Bモデルの全パラメータ微調整は、実質的な中身が小さい仕事のために100 GB超のオプティマイザ状態を要求する。LoRAの主張は、モデルに必要な「変化」は低ランクだから、細い行列2枚の積 ΔW = BA として保持できる、というもの。この記事はコストの問題から出発してそれを組み立て、式を1行ずつ分解し、なぜ B が0から始まるのか、α/r は何のためなのかを説明し、実モデルでパラメータ数を数え、最後に本当に重要な3つの判断——ランク、対象レイヤ、推論時のマージ——で締める。