論文解説: Normalized Low-Rank Adaptation — LoRAの「入口行列」を正規化するだけで効く理由

LoRAのダウン射影行列Aを「ランク方向に単位長へそろえる」だけで、収束・安定性・忘却耐性が改善する。原題 Normalized Low-Rank Adaptation (NoRA) を、隠れた前処理行列という視点から1から解説する。

Normalized Low-Rank Adaptation

LoRAの「入口」だけが、最初の一歩を決めている

この記事で読み解く論文の原題は "Normalized Low-Rank Adaptation"（Jiale Kang, Ziyin Yue, Zheng Zhan, Yangyi Huang, Weiyang Liu / arXiv:2608.31036、2026年8月31日公開）。提案手法は NoRA と呼ばれています。

論文の主張はこうです。LoRAは広く使われているが、その学習ダイナミクスをどう正則化すれば安定して効果的に最適化できるかはあまり調べられていない。LoRAはアップ射影 $\bm{B}$ をゼロで初期化するため、学習初期はほぼダウン射影 $\bm{A}$ だけに支配される。そこで学習中に $\bm{A}$ を正規化する NoRA を提案する。同じ正規化を初期化のときだけ適用しても通常のLoRAが改善する。事前学習・教師ありファインチューニング（SFT）・強化学習のいずれでも収束が速くなり、性能と安定性が上がり、破滅的忘却が緩和される。しかも追加の学習パラメータも推論時の計算も要らない（Abstract）。

比喩: ツマミの高さがバラバラなミキサー

$\bm{A}$ は、入力の各次元を狭い $r$ 次元の中間空間へ送り込む「入口」です。ミキシングコンソールでいえば、入力チャンネルごとに並んだフェーダーにあたります。標準のLoRAはこれを乱数で決め、しかも分散を小さく取る慣習のせいで全体が軒並み下がっていることも起きます。この状態で録音を始めると、よく聞こえるチャンネルばかり早く調整され、絞られたチャンネルには音が乗らない。つまりどの入力次元がどれだけ速く学習されるかが、データでもタスクでもなく初期化の乱数で決まる。NoRAは録音前に全フェーダーを同じ高さにそろえます。

前提: $\bm{B}=\bm{0}$ が持つ意味

LoRAは事前学習済み重み $\bm{W}_0$ への更新を低ランクの積で表します（§2）。

「重みの変化量を、細長い2枚の行列の掛け算だけで表す」という意味です。$\bm{A}\in\mathbb{R}^{r\times k}$ が入力の $k$ 次元を $r$ 次元へ落とすダウン射影、$\bm{B}\in\mathbb{R}^{d\times r}$ が出力の $d$ 次元へ戻すアップ射影、$r$ は $d,k$ よりずっと小さいランク、$\alpha$ はスケール係数です。

重要なのは $\bm{B}^{(0)}=\bm{0}$ という初期化です。$\Delta\bm{W}$ がゼロから始まるので学習開始時のモデルは事前学習済みモデルと同一に振る舞う。安全ですが副作用があります。$\bm{G}=\partial\mathcal{L}/\partial\bm{W}$ をフル学習の勾配とすると（§2）：

平たく言えば、学習の最初の瞬間、$\bm{A}$ には勾配が来ない。$\bm{B}$ がゼロなので $\bm{A}$ を動かしても出力が変わらず、損失も変わらないからです。$\bm{A}$ は初期値のまま置き去りにされ、LoRAの初期最適化は $\bm{A}^{(0)}$ が作る乱数の特徴量に完全に依存する（§2）。ここが論文の出発点です。

仕組み: 列を「ランク方向」に単位長へそろえる

着想は Multi-head Latent Attention（MLA）から来ています（§3.1）。MLAは潜在表現に正規化を挟んでおり、それが学習を安定させ収束を速めるという観察がありました。式では $\bm{\phi}(\bm{x})=\text{Norm}(\bm{A}\bm{x})$、つまり射影後の特徴量を正規化しています。

これをそのままLoRAに持ち込むと困ります。正規化が入力に依存するので $\bm{B}\cdot\text{Norm}(\bm{A}\bm{x})$ は $\bm{x}$ に対し非線形になり、学習後に $\bm{W}_0$ へ畳み込んでマージできなくなる（§3.1）。LoRAの実務的価値の大半は「マージすれば推論コストゼロ」なので、これは受け入れがたい。

そこで論文は正規化の対象を特徴量から射影行列そのものへ移します。$\bm{A}$ の第 $j$ 列 $\bm{a}_j\in\mathbb{R}^{r}$ は「入力の $j$ 番目の座標を潜在空間へどう送り込むか」を表すベクトルで、これをランク方向に長さ1へそろえます（§3.1）。

やっているのは「各列を、その列の長さで割る」だけです（$\epsilon$ はゼロ割り回避用の小さな定数）。