·★ 会員·論文·18分で読めます

論文解説: Reason Through the Latent! — 「潜在状態に画像情報がある」と「答えがそれを使っている」は別問題

潜在視覚推論の手法は、潜在状態を壊しても答えがほぼ変わらない＝「使われていない」ことがある。CVRR (arXiv:2609.06746) は画像を読み込んだ後の質問状態から再帰を始め、復号前に画像への抜け道をすべて塞ぐことで、潜在計算を答えに「必要な」経路にしながら性能を保った。因果介入で裏を取った論文を本文だけを根拠に解説する。

要点

  • 潜在視覚推論は、隠れ状態に画像情報が含まれていても、答えがその状態に依存しているとは限らないという問いを立てる。
  • UniVLR は潜在状態を3通りに置き換えても精度の変化が最大 0.5 ポイントで、情報的であることと因果的に必要であることは別だと示された。
  • 凍結した Qwen2.5-VL-7B-Instruct の中間層では、質問トークンだけの Multimodal Q が 75.4%で、Full MM の 75.9%とほぼ同じだった。
  • CVRR は画像取り込み後の質問状態から再帰を始め、復号前に視覚状態と元の KV キャッシュを削除する。
  • CVRR の学習対象は共有層の LoRA のみで、学習パラメータは 2,883,584 個、全体約 8.295B の 0.0348%である。
#latent-reasoning#vlm#visual-reasoning#causal-intervention#recurrent-depth#lora
対象imageタスクgeneration

Reason Through the Latent! Making Latent Visual Reasoning Necessary

一次資料 — この記事の根拠

論文の発表 2026-09-06→この解説の公開 2026-09-12同月

Reason Through the Latent! Making Latent Visual Reasoning NecessarySuhyeong Park, Junha Jung, Jaewoo Kang · 2026-09-06 · v2arXiv:2609.06746論文ページ·PDF
原文の要旨（Abstract）を読む

Latent visual reasoning aims to perform multimodal reasoning through hidden-state computation rather than explicit textual chains of thought. However, visual information being present in a latent state does not imply that the model actually relies on that state when producing its answer, especially when alternative image-conditioned paths remain available. We introduce Causal Visual Recurrent Reasoning (CVRR), which preserves pretrained visual competence while making recurrent computation the required image-conditioned path to prediction. CVRR initializes recurrence from the question hidden state after the pretrained vision-language model has incorporated the image, then repeatedly updates this state while re-reading the same fixed visual evidence. Before decoding, visual states and the original multimodal KV cache are removed so that only the final recurrent state carries image-conditioned information to the answer. Across the $V^*$, MMVP, BLINK, and MME-RealWorld-Lite benchmarks, CVRR retains strong performance under this strict interface, while compatible latent reasoners fail to recover comparable visual competence even when retrained under the same constraint. Causal interventions further show that predictions remain sensitive to recurrent content when the question is held fixed, and that persistent visual evidence causally revises the recurrent trajectory. These results distinguish latent informativeness from latent computation that is actually used for prediction.

「持ち込み可の試験」では、頭の中の推論は要らない

教科書持ち込み可の試験を想像してください。受験者は頭の中で考えを組み立てるかもしれませんが、答えを書く瞬間に教科書を開けるなら、その「頭の中の考え」が答案に使われた保証はありません。考えをすり替えても、教科書を見て同じ答案が書けてしまうからです。

この記事で扱う論文 "Reason Through the Latent! Making Latent Visual Reasoning Necessary"（arXiv:2609.06746、Park・Jung・Kang、Korea University / AIGEN Sciences）は、画像を読んで推論する AI（視覚言語モデル・VLM）に対して、まさにこの問いを立てました。

論文の要旨を日本語でまとめると次のようになります。潜在視覚推論とは、思考の途中経過をテキストとして書き出す代わりに、モデル内部の隠れ状態の計算で多段推論を行おうとする流れです。しかし、隠れ状態に画像の情報が「含まれている」ことは、モデルが答えを出すときにその状態に「依存している」ことを意味しません。特に画像から答えに至る別経路が残っていればなおさらです。著者らは Causal Visual Recurrent Reasoning（CVRR）を提案します。事前学習済み VLM が画像を取り込んだ後の質問トークンの隠れ状態から再帰計算を開始し、固定した視覚的証拠を繰り返し読み直しながらその状態を更新し、復号の直前に視覚状態と元のマルチモーダル KV キャッシュを削除して、最終的な再帰状態だけが画像由来の情報を答えに運ぶようにします。V∗V^*・MMVP・BLINK・MME-RealWorld-Lite の4ベンチマークで、CVRR はこの厳格なインターフェースの下でも高い性能を保ち、一方で既存の潜在推論手法は同じ制約で再学習しても視覚能力を回復できませんでした。因果介入により、質問を固定しても予測は再帰内容に敏感で、持続的な視覚証拠が再帰の軌道を因果的に書き換えることも示されました。

直感: 「情報がある」と「使われている」を分ける

論文が最初に突きつけるのは、ある種の身も蓋もない実験です（§2.1）。既存の潜在視覚推論手法に対して、提案された潜在状態を「空白画像の潜在状態」「別の答えを持つ例の潜在状態」「ノルムを合わせたノイズ」の3通りに置き換えます。ただし元のマルチモーダルな回答文脈（画像トークンや KV キャッシュ）はそのまま残しておきます。

結果、いくつかの手法は潜在状態を大きく壊しても精度がほとんど変わりませんでした。論文では UniVLR の例が挙げられ、3通りの置換すべてで変化は最大 0.5 ポイントです。「潜在状態が情報的（informative）であること」と「予測に因果的に必要（necessary）であること」は別だ、というのが論文の中心的な指摘です。

ただし §1 で明言されているように、著者らは「すべての潜在推論器が冗長な経路を全部消すべきだ」とは主張していません。主張は限定的で、「予測がこの潜在計算に依存する」と科学的に主張するなら、情報が含まれているだけでは証拠にならない、というものです。

予備実験: 質問トークンはすでに画像を「飲み込んでいる」

では抜け道を塞いだとき、どの表現に画像の能力を担わせるべきでしょうか。§2.2 では凍結した Qwen2.5-VL-7B-Instruct の中間層で4種類の状態を作り、同じ凍結済み上位デコーダに単独で渡して精度を比べています。

Full MM と Multimodal Q の差はわずか 0.5 ポイントです。つまりこの層まで来ると、画像トークンを捨てても質問トークンの側にほぼ全部の視覚能力が移っている。逆に、テキストだけの状態に生の視覚特徴をくっつけても回復しません。ここから CVRR の設計要件が2つ出てきます。(1) 潜在経路は「画像を読み込み済みの質問状態」から始めること、(2) 画像から答えへの別経路は消すこと。

仕組み: 3つの部品

CVRR の構造は図で言えば「境界を決める → 同じ層をぐるぐる回す → 復号前に抜け道を全部切る」の3段階です（§3、全手順は付録 C）。

部品1: 因果的な「視覚読み取り境界」を層ごとに探す（§3.1）

再帰をどの層から始めるかは恣意的に決めません。「画像の情報が質問状態に十分入っており、かつ視覚トークンがまだ下流に影響を残している」層を、activation patching で探します。同じ質問で画像と答えが異なるペア x=(I,q,y)x=(I,q,y) と x′=(I′,q,y′)x'=(I',q,y') を用意し、各層 ℓ\ell で一方の視覚トークンの活性をもう一方のもので置き換え、元の答えへの選好（対数確率のマージン）がどれだけ落ちるかを双方向で測ります。

m^i(ℓ)=mi(ℓ)mi(0),mi(ℓ)=12[Mx(x)−Mx(Pℓ(x←x′))+Mx′(x′)−Mx′(Pℓ(x′←x))]\widehat{m}_i(\ell)=\frac{m_i(\ell)}{m_i(0)},\qquad m_i(\ell)=\tfrac{1}{2}\Big[M_x(x)-M_x\big(P_\ell(x\leftarrow x')\big)+M_{x'}(x')-M_{x'}\big(P_\ell(x'\leftarrow x)\big)\Big]
(1)

言い換えると、「層 ℓ\ell で画像の中身をすり替えたとき、答えの自信がどれだけ削られるか」を、最初の層でのすり替え効果を1として正規化した値です。MxM_x は xx の答えを x′x' の答えより好む度合い、Pℓ(x←x′)P_\ell(x\leftarrow x') は層 ℓ\ell で xx の視覚活性を x′x' のもので上書きする操作です。この値が最初に持続的に下がり始める直前の層を境界にします。Qwen2.5-VL-7B では ℓ∗=20\ell^*=20 が選ばれ、その次の層 L21L_{21} が再帰の起点になります。

部品2: 1層を使い回して、固定した視覚証拠を読み直す（§3.2）

境界層までの凍結バックボーンの出力に、次の層 f0=L21f_0=L_{21} をまず事前学習のまま1回かけ、質問トークンの行を h1h_1（再帰の初期状態）、視覚トークンの行を vv（持続的な視覚証拠）として取り出します。以降は毎ステップ、質問行だけを前ステップの状態で差し替え、視覚行は vv のまま固定して、同じ層（LoRA 付き）を通します。

Ht=Replace⁡Q(H1,ht−1),h~t=PQfϕ(Ht),ht=(1−β)ht−1+βh~tH_t=\operatorname{Replace}_Q(H_1,h_{t-1}),\qquad \widetilde{h}_t=P_Q f_\phi(H_t),\qquad h_t=(1-\beta)h_{t-1}+\beta\widetilde{h}_t
(2)

平たく言えば「前回の考え ht−1h_{t-1} を元の足場に戻し入れ、固定した画像の証拠と一緒にもう一度同じ層で読み、出てきた新しい考えを前回の考えと β\beta の割合で混ぜる」です。PQP_Q は質問行を取り出す操作、fϕf_\phi は LoRA パラメータ ϕ\phi 付きの共有層、β\beta は混合係数（付録 B.1 では 0.50）です。別途クロスアテンションを足すのではなく、デコーダ層がもともと持つ因果的自己注意で視覚行を読み直すので、トークン順序・マスク・位置構造は元のままです。

学習対象はこの共有層に付けた LoRA だけです。付録 B.1 によればランク 32、α=16\alpha=16 で、学習パラメータは 2,883,584 個、全体約 8.295B の 0.0348% です。低ランクの差分だけで「読み直し方」を学ばせる、という発想が数字でどう効くかは次の図で確かめられます。

FIG 1行列をランクrで再構成すると、パラメータ数が桁で減っても主要な構造は残る。CVRRが学習するのは共有1層のランク32差分だけで、全体の0.0348%にあたる

ここが論文の核です。再帰状態 がどれだけ画像に根ざしていても、デコーダが元のマルチモーダル文脈を参照できるなら、 は「あってもなくてもいい」状態になり得ます。そこで CVRR は復号前にすべての視覚行と元のマルチモーダル KV キャッシュを捨てます。境界より下の層では、回答トークンは画像なしで質問だけを通したテキスト専用の KV キャッシュ だけを使い、境界より上では が質問プレフィックスの表現として凍結済み上位デコーダに入ります。結果として、画像由来の情報が答えに届く経路は ただ1本になります。…

この先にあるもの

§

ここから先は会員限定です

解説記事449本・教科書42章・学生モード48単元・論文精読6本が、月額¥490ですべて読み放題になります。新しい解説は1日あたり平均3本ほど増えます。いつでも解約でき、解約後も期間の終わりまで読めます。

会員の方はログインすると続きが表示されます

参考文献

  1. Suhyeong Park, Junha Jung, Jaewoo Kang. (2026-09-06) Reason Through the Latent! Making Latent Visual Reasoning Necessary. arXiv:2609.06746論文ページ·PDF

本記事は上記論文の本文にもとづいて執筆しています。数値・主張は原典を優先してください。

運営: TechAthletes · 編集方針 · 出典の付け方 · 訂正の記録

このあとに出た解説

コメント

コメントにはログインが必要です