2026-10-12·★ 会員·論文·8分で読めます

論文解説: Transformers Stop Thinking Too Early — 3行で止まる参照追跡を、1層のランク8 LoRAが50行へ伸ばす

事前学習済みLLMは文脈内の変数参照を2〜3行しかたどれない。全重みを凍結したまま初期の1層にランク8のLoRA（約6.5万パラメータ）を足すと、Qwen3-8Bは24行の鎖で15.5%→99%になる。中間層で走る「リレー」と、効く層の限界を論文本文に沿って読む。

要点

事前学習済みTransformerは文脈内の参照をたどるのに深さをほとんど使わず、13のベースモデルが確実にたどれるのは1.4〜3.6行です。
全重みを凍結したまま初期の1層にタスクで学習したランク8のLoRAを入れると、この計算が伸びます。
Qwen3-8Bは24行の鎖で完全一致の正解率が15.5%から99%になり、Ouro-1.4Bはループ4回で60行に届きます。
LoRAが始めるのは各行が中間層の短い区間で自分の属する鎖を受け渡すリレーで、親行への注意を消すとリレーは止まります。
この手法は層の入力 h を s 倍して通し細い経路 BA で書き足す式で、学習するのは A・B・s のみ、Qwen3-8Bでは65,537パラメータです。

#lora #peft #fine-tuning #mechanistic-interpretability #multi-hop-reasoning #looped-transformer

対象textタスクfine-tuning

Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It

一次資料 — この記事の根拠

論文の発表 2026-09-29→この解説の公開 2026-10-12同月

Transformers Stop Thinking Too EarlyZehao Jin, Ruixuan Deng, Junran Wang · 2026-09-29 · v1"arXiv:2609.36585論文ページ·PDF

https://arxiv.org/abs/2609.36585"and a Tiny LoRA Fixes It

原文の要旨（Abstract）を読む

Pretrained transformers use little of their depth to follow references in context. Thirteen base models reliably follow only 1.4-3.6 lines, and extra pretrained loops add little. A task-trained rank-8 LoRA at one early layer extends this computation with all model weights frozen. Qwen3-8B improves from 15.5% to 99% exact accuracy on 24-line chains; a longer-trained LoRA reaches 50 lines. Ouro-1.4B reaches 60 lines after four loops and at least 160 after eight. The LoRA starts a relay: program lines pass on their chain identity through a short range of middle layers. Frozen heads read progressively further up the chain, and removing parent-line attention stops the relay. A frozen-model measurement locates the last useful intervention layer within tolerance in three of four held-out models. Task-specific LoRAs also improve MuSiQue. Default answers therefore understate the computation accessible through a tiny edit. Code and an interactive demo are available at https://lunamos.github.io/stop-thinking-too-early/

「3行先」で止まるモデル

K = apple、B = K、D = B と並べて print(D) と聞けば答えは apple です。外部知識は要らず、変数をたどるだけで解けます。ところが代入を数行増やすだけで、事前学習済みの大規模言語モデルは間違え始めます。

今回読むのは "Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It"（arXiv:2609.36585、Zehao Jin・Ruixuan Deng・Junran Wang、Georgia Institute of Technology、2026年9月29日）です。

要旨はこうです。事前学習済みTransformerは、文脈内の参照をたどるのに自分の深さをほとんど使っていない。13のベースモデルが確実にたどれるのは1.4〜3.6行で、ループ型モデルでループを増やしても伸びはわずか。全重みを凍結したまま初期の1層にタスクで学習したランク8のLoRAを入れると、この計算が伸びる。Qwen3-8Bは24行の鎖で完全一致の正解率が15.5%から99%になり、長めに学習したLoRAは50行に届く。Ouro-1.4Bはループ4回で60行、8回で少なくとも160行。LoRAが始めるのは「リレー」で、各行が中間層の短い区間で自分の属する鎖を受け渡す。凍結されたヘッドが鎖のより上流を読むようになり、親行への注意を消すとリレーは止まる。凍結モデルの測定は、効く最後の層を未見4モデル中3つで許容範囲内に言い当てた。タスク別LoRAはMuSiQueも改善する。つまり既定の答えは、小さな編集で引き出せる計算を過小評価している、という主張です。

比喩: 3人目で止まる伝言リレー

列の先頭の人だけが「りんご」を持ち、後ろの人は「私の中身は前の○○さんと同じ」とだけ知っている。最後の人が答えるには「自分はりんごの列だ」という情報が後ろへ渡ってこなければなりません。既定のモデルではこの受け渡しが2〜3人で止まります。LoRAは最初に小さく背中を押すだけで、受け渡しをするのはもともと並んでいた人たち（凍結された層）です。

課題と処方（§2）

プログラムは $c$ 本の鎖からなり、根の代入が1トークンの名詞を持ち、以降の行は直前の変数を指します。右辺の変数を「ポインタ」、それを定義した行を「親行」と呼びます。到達距離（reach）は、80%以上の正解率でたどれる最長の鎖の長さです。

処方は1つの式です。

h \leftarrow M(h) = s\,h + BA\,h

(1)

言い換えると、ある層に入る直前の状態 $h$ をほぼそのまま（ $s$ 倍して）通し、8次元に絞った細い経路 $BA$ で少しだけ書き足す操作です。 $A$ は $8\times n$ 、 $B$ は $n\times 8$ の行列（ $n$ は隠れ幅）、 $s$ はスカラーです。ふつうのLoRA（LoRAを1から理解する）が重み行列に差分を足すのに対し、これは層の入力そのものに掛かり、トークンごとに独立です。トークン間のやり取りは凍結された注意とMLPがすべて担います。学習するのは $A$ ・ $B$ ・ $s$ だけで、Qwen3-8Bでは65,537パラメータ（0.01%未満）でした。

FIG 1ランクを下げるほどパラメータは減り、再構成の誤差は増える。論文のLoRAはこの「細い経路」を重みではなく層の入力状態に足し、ランク8で効果を出した

論文解説: Transformers Stop Thinking Too Early — 3行で止まる参照追跡を、1層のランク8 LoRAが50行へ伸ばす

要点

「3行先」で止まるモデル

比喩: 3人目で止まる伝言リレー

課題と処方（§2）

ここから先は会員限定です

参考文献

コメント