#finetuning

1 記事

01 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: Normalized Low-Rank Adaptation — LoRAの「入口行列」を正規化するだけで効く理由 Normalized Low-Rank Adaptation LoRAのダウン射影行列Aを「ランク方向に単位長へそろえる」だけで、収束・安定性・忘却耐性が改善する。原題 Normalized Low-Rank Adaptation (NoRA) を、隠れた前処理行列という視点から1から解説する。