2026-08-12·★ 会員·論文·11分で読めます

論文解説: BDH-CQ — 言葉にせずに考えるAI。再帰メモリ×潜在推論がARCのコスト効率を塗り替えた

思考の途中経過を一切言語化せず、デモを再帰メモリに書き込み高次元潜在空間の反復計算で解く BDH-CQ (arXiv:2608.09888)。150MパラメータでARC-AGI-1の29.5% pass@2を1タスク$0.0007で達成し、コスト対精度のパレート境界を突破した論文を、本文だけを根拠に解説する。

#latent-reasoning #in-context-learning #arc-agi #recurrent #reasoning #post-transformer

対象textタスクinference

BDH-CQ: In-Context Learning with Recurrent Latent Reasoning

一次資料 — この記事の根拠

論文の発表 2026-08-10→この解説の公開 2026-08-12同月

BDH-CQ: In-Context Learning with Recurrent Latent ReasoningBjörn Engdahl, Adrian Kosowski, Jan Chorowski ほか · 2026-08-10 · v1arXiv:2608.09888論文ページ·PDF

原文の要旨（Abstract）を読む

We introduce BDH-CQ, a reasoning model that combines in-context learning with recurrent latent reasoning. Inputs presented at inference time continuously update the model's recurrent memory; the model then solves a query through iterative computation in a high-dimensional latent space, without verbalizing its intermediate reasoning. We evaluate the model on the public ARC-AGI-1 evaluation set and use controlled ARC-like interventions to study what it learns from demonstrations, how consistently it applies an inferred transformation, and which concepts remain difficult. A 150M-parameter configuration reaches 29.5% pass@2 at a computed inference cost of \$0.0007 per task. This operating point breaks through the previously reported ARC-AGI-1 cost-accuracy Pareto frontier, establishing a new state of the art in benchmark cost efficiency.

「声に出して考える」AIは高くつく

いまの推論モデル（ChatGPTの推論モード等）は、難しい問題を解くとき思考の途中経過を文章として書き出します。いわゆる Chain-of-Thought（CoT）です。この方式には構造的なコストがあります。途中の状態をすべて語彙に射影し、1トークンずつ自己回帰的に出力し、それを読み直してから次の計算に進む必要があるからです。推論が長くなるほど、トークン消費・遅延・推論計算は膨らみます（§1）。

今回の論文 BDH-CQ（arXiv:2608.09888、Pathway社の研究チーム）は逆の道を選びます。推論時に与えられたお手本（デモ）をその場で再帰メモリに書き込み、答えは高次元の潜在空間の中で反復計算して導く。途中経過は一切言語化しません。この設計で、わずか150Mパラメータのモデルが視覚推論ベンチマーク ARC-AGI-1 で 29.5% pass@2 を、計算コスト1タスクあたり$0.0007（0.1セント未満）で達成し、従来報告されていたコスト対精度のパレートフロンティアを突破した——というのが主結果です（§1, §5）。

ARCという「その場で学べるか」を測るテスト

ARC（Abstraction and Reasoning Corpus）は、色付きグリッドの入出力ペアを数枚だけ見せ、「そこに隠れた変換規則を推測して、新しい入力に正確に適用せよ」と要求するベンチマークです。設計思想はスキル獲得の効率の測定にあります。あるスキルを持っているかではなく、どれだけ少ない経験でそれを獲得できるか、です（§2）。

答えはマス目単位で厳密に検証でき、失敗は目で見て調べられます。しかも1タスクに複数のテスト入力があるため、「たまたま1回当てた」のと「規則として一貫して適用できている」のを区別できます。文脈内学習（in-context learning）の研究材料として、これ以上ないほど統制された題材です（§2）。

比喩: 暗算の達人は実況しない

そろばんの暗算の達人は、頭の中の盤面を直接動かします。「7を足して、繰り上がって……」と一言ずつ実況しながら計算する人より速いのは、中間結果を言葉に変換するコストを払っていないからです。ただし頭の中は外から見えないので、どこで間違えたかは答案からしか推測できません。この長所（速さ・安さ）と短所（過程の不透明さ）が、そのままBDH-CQの性格です。

仕組み①: 重みを変えずにデモを記憶へ書き込む（§3.2）

タスクは $K$ 枚のデモ $D=\{(x_t, y_t)\}$ とクエリ入力 $x^\star$ からなります。BDH-CQはデモを1つずつ順に処理し、再帰メモリ $S$ を更新します。

S_t = U_\theta(S_{t-1}, D_t)

(1)

言い換えると「いまの記憶 $S_{t-1}$ に、 $t$ 枚目のデモ $D_t$ を混ぜ込んで、次の記憶 $S_t$ を作る」だけです。 $U_\theta$ が更新のしかたを決める関数で、その重み $\theta$ は推論中ずっと固定。つまり勾配降下は一切走らず、「学習」はすべてこの状態変数の中で起きます。

論文はこの再帰的な文脈状態を、注意機構（attention）が作る文脈依存の連想と役割的に同じものと位置づけつつ、決定的な違いを挙げます。キーと値のキャッシュが文脈長に応じて成長しないのです（§3.2）。TransformerのKVキャッシュが文脈に比例して膨らむのと対照的に、 $S$ は固定サイズ。線形注意（linear attention）は $S_t = S_{t-1} + U_\theta(D_t)$ という最も単純な特例にあたる、と整理されています。

FIG 1「似たベクトルは内積が大きい」——attentionも線形注意もBDH-CQの再帰メモリも、文脈から連想を作る土台はこのベクトルの照合です。2本を回して内積の変化を確かめてください

仕組み②: 潜在空間での反復推論（§3.3）

デモとクエリを取り込んだあと、BDH-CQは構造化された潜在ワークスペース $H$ の中で反復計算します。

H_0 = E_\theta(x^\star, S_K), \qquad H_{r+1} = F_\theta(H_r, S_K), \qquad \hat{y} = G_\theta(H_R)

(2)

読み下すと、①クエリ $x^\star$ と記憶 $S_K$ から初期状態 $H_0$ を作り（エンコード）、②同じ変換 $F_\theta$ を $R$ 回繰り返して状態を練り上げ、③最後の状態 $H_R$ だけを答え $\hat{y}$ に復号する、という3段構えです。 $S$ （証拠に応じて変わる記憶）と $H$ （いまの問いを解くための作業台）の役割分担がこのシステムの骨格で、途中の $H_r$ は一度も言語に復号されません。

土台は同チームが先行研究で提案した post-Transformer アーキテクチャ BDH（Dragon Hatchling）です。高次元の正値活性・低ランクの通信・再帰的連想状態を柱とし、「脳に着想を得るが脳を模倣はしない（brain-inspired but not brain-imitative）」と自己規定しています（§3.1）。ただし注意点として、次元数・厳密な更新則・学習レシピの詳細は非公開（proprietary）と論文自身が明記しています（§3.3, §4.1）。

学習データと主結果（§4, §5）

150Mパラメータのモデルを、ARC-AGI-1訓練セット・RE-ARC・ConceptARC・ARC-Heavy・ARC-GEN100Kと私有データを混ぜたARC風データで訓練します（§4.2）。評価タスクのデモペアやタスクIDは訓練に使わず、推論時のパラメータ更新もありません（§1）。

公開ARC-AGI-1評価セット400タスクでの結果は、pass@2で29.5%（pass@1は24.25%）。1タスクあたり約0.85 H200 GPU秒、時間単価 $3/H200時で計算して**$ 0.00070/タスクです（§5）。ARC Prizeの2026年7月時点データとの比較では、GPT 5.6 Luna (Low)（34.2%、 $0.040/タスク）より約57倍安く、同モデルの8割値下げを織り込んでも約11倍安い、と論文は述べます（§5）。関連手法のHRM/TRM（評価タスクで最適化を回すtransductive方式）は$ 1.48/$1.76かかるとの引用もあります（§8）。BielikとNYUの共著者によるブラックボックス独立監査**が、モデル重みへのアクセスなしで29.5%を再現しています（§5）。

何ができて、何につまずくか（§6）

この論文の面白さは、スコア1個で終わらせず「デモから何を学べたか」を統制実験で切り分けている点です。

概念ごとの得意不得意。ConceptARC（16概念ファミリー×10タスク）では、タスク単位pass@2が59.4%、テストペア単位では77.9%。境界まで塗り伸ばす系（ExtendToBoundary等）は9/10に達する一方、Copy と Order は2/10です（§6.1）。

外挿の境界。モデル凍結後に生成した統制タスクで、1要素ずつ難度を上げると挙動が割れます。線の伝播とモチーフの複製はデモの範囲を超えても48/48で正解し続けるのに、並べ替え（ordering）は長さ6から崩れて8では1/24、入れ子（nesting）は深さ5で29/36に落ちます（§6.2）。そして決定的なのが介入実験です。テストと同じ複雑度のデモを1枚足すだけで、深さ5の入れ子は19/24→24/24に全快し、長さ8の並べ替えも0/24→13/24まで回復します（§6.2, Table 3）。つまり崩壊の主因は実行能力ではなく「デモが示した範囲の外への外挿」でした。