2026-08-12·無料·論文·11分で読めます

論文解説: BDH-CQ — 言葉にせずに考えるAI。再帰メモリ×潜在推論がARCのコスト効率を塗り替えた

思考の途中経過を一切言語化せず、デモを再帰メモリに書き込み高次元潜在空間の反復計算で解く BDH-CQ (arXiv:2608.09888)。150MパラメータでARC-AGI-1の29.5% pass@2を1タスク$0.0007で達成し、コスト対精度のパレート境界を突破した論文を、本文だけを根拠に解説する。

要点

BDH-CQは推論時のデモを再帰メモリに書き込み、潜在空間で反復計算し、途中経過を言語化しない。
再帰メモリSは固定サイズで、キーと値のキャッシュが文脈長に応じて成長しない。
150Mパラメータのモデルが、ARC-AGI-1で29.5% pass@2を1タスクあたり$0.0007で達成した。
テストと同じ複雑度のデモを1枚足すと、深さ5の入れ子は19/24から24/24に回復した。
内部の次元・更新則・訓練レシピは非公開で、訓練露出やコスト比較の限界も論文が認めている。

#latent-reasoning #in-context-learning #arc-agi #recurrent #reasoning #post-transformer

対象textタスクinference

BDH-CQ: In-Context Learning with Recurrent Latent Reasoning

一次資料 — この記事の根拠

論文の発表 2026-08-10→この解説の公開 2026-08-12同月

BDH-CQ: In-Context Learning with Recurrent Latent ReasoningBjörn Engdahl, Adrian Kosowski, Jan Chorowski ほか · 2026-08-10 · v1arXiv:2608.09888論文ページ·PDF

原文の要旨（Abstract）を読む

We introduce BDH-CQ, a reasoning model that combines in-context learning with recurrent latent reasoning. Inputs presented at inference time continuously update the model's recurrent memory; the model then solves a query through iterative computation in a high-dimensional latent space, without verbalizing its intermediate reasoning. We evaluate the model on the public ARC-AGI-1 evaluation set and use controlled ARC-like interventions to study what it learns from demonstrations, how consistently it applies an inferred transformation, and which concepts remain difficult. A 150M-parameter configuration reaches 29.5% pass@2 at a computed inference cost of \$0.0007 per task. This operating point breaks through the previously reported ARC-AGI-1 cost-accuracy Pareto frontier, establishing a new state of the art in benchmark cost efficiency.

「声に出して考える」AIは高くつく

いまの推論モデル（ChatGPTの推論モード等）は、難しい問題を解くとき思考の途中経過を文章として書き出します。いわゆる Chain-of-Thought（CoT）です。この方式には構造的なコストがあります。途中の状態をすべて語彙に射影し、1トークンずつ自己回帰的に出力し、それを読み直してから次の計算に進む必要があるからです。推論が長くなるほど、トークン消費・遅延・推論計算は膨らみます（§1）。

今回の論文 BDH-CQ（arXiv:2608.09888、Pathway社の研究チーム）は逆の道を選びます。推論時に与えられたお手本（デモ）をその場で再帰メモリに書き込み、答えは高次元の潜在空間の中で反復計算して導く。途中経過は一切言語化しません。この設計で、わずか150Mパラメータのモデルが視覚推論ベンチマーク ARC-AGI-1 で 29.5% pass@2 を、計算コスト1タスクあたり$0.0007（0.1セント未満）で達成し、従来報告されていたコスト対精度のパレートフロンティアを突破した——というのが主結果です（§1, §5）。

ARCという「その場で学べるか」を測るテスト

ARC（Abstraction and Reasoning Corpus）は、色付きグリッドの入出力ペアを数枚だけ見せ、「そこに隠れた変換規則を推測して、新しい入力に正確に適用せよ」と要求するベンチマークです。設計思想はスキル獲得の効率の測定にあります。あるスキルを持っているかではなく、どれだけ少ない経験でそれを獲得できるか、です（§2）。

答えはマス目単位で厳密に検証でき、失敗は目で見て調べられます。しかも1タスクに複数のテスト入力があるため、「たまたま1回当てた」のと「規則として一貫して適用できている」のを区別できます。文脈内学習（in-context learning）の研究材料として、これ以上ないほど統制された題材です（§2）。

比喩: 暗算の達人は実況しない

そろばんの暗算の達人は、頭の中の盤面を直接動かします。「7を足して、繰り上がって……」と一言ずつ実況しながら計算する人より速いのは、中間結果を言葉に変換するコストを払っていないからです。ただし頭の中は外から見えないので、どこで間違えたかは答案からしか推測できません。この長所（速さ・安さ）と短所（過程の不透明さ）が、そのままBDH-CQの性格です。

仕組み①: 重みを変えずにデモを記憶へ書き込む（§3.2）

タスクは $K$ 枚のデモ $D=\{(x_t, y_t)\}$ とクエリ入力 $x^\star$ からなります。BDH-CQはデモを1つずつ順に処理し、再帰メモリ $S$ を更新します。

S_t = U_\theta(S_{t-1}, D_t)

(1)

言い換えると「いまの記憶 $S_{t-1}$ に、 $t$ 枚目のデモ $D_t$ を混ぜ込んで、次の記憶 $S_t$ を作る」だけです。 $U_\theta$ が更新のしかたを決める関数で、その重み $\theta$ は推論中ずっと固定。つまり勾配降下は一切走らず、「学習」はすべてこの状態変数の中で起きます。

論文はこの再帰的な文脈状態を、注意機構（attention）が作る文脈依存の連想と役割的に同じものと位置づけつつ、決定的な違いを挙げます。キーと値のキャッシュが文脈長に応じて成長しないのです（§3.2）。TransformerのKVキャッシュが文脈に比例して膨らむのと対照的に、 $S$ は固定サイズ。線形注意（linear attention）は $S_t = S_{t-1} + U_\theta(D_t)$ という最も単純な特例にあたる、と整理されています。

FIG 1「似たベクトルは内積が大きい」——attentionも線形注意もBDH-CQの再帰メモリも、文脈から連想を作る土台はこのベクトルの照合です。2本を回して内積の変化を確かめてください

仕組み②: 潜在空間での反復推論（§3.3）

デモとクエリを取り込んだあと、BDH-CQは構造化された潜在ワークスペース $H$ の中で反復計算します。

H_0 = E_\theta(x^\star, S_K), \qquad H_{r+1} = F_\theta(H_r, S_K), \qquad \hat{y} = G_\theta(H_R)

(2)

読み下すと、①クエリ $x^\star$ と記憶 $S_K$ から初期状態 $H_0$ を作り（エンコード）、②同じ変換 $F_\theta$ を $R$ 回繰り返して状態を練り上げ、③最後の状態 $H_R$ だけを答え $\hat{y}$ に復号する、という3段構えです。 $S$ （証拠に応じて変わる記憶）と $H$ （いまの問いを解くための作業台）の役割分担がこのシステムの骨格で、途中の $H_r$ は一度も言語に復号されません。

土台は同チームが先行研究で提案した post-Transformer アーキテクチャ BDH（Dragon Hatchling）です。高次元の正値活性・低ランクの通信・再帰的連想状態を柱とし、「脳に着想を得るが脳を模倣はしない（brain-inspired but not brain-imitative）」と自己規定しています（§3.1）。ただし注意点として、次元数・厳密な更新則・学習レシピの詳細は非公開（proprietary）と論文自身が明記しています（§3.3, §4.1）。

学習データと主結果（§4, §5）

150Mパラメータのモデルを、ARC-AGI-1訓練セット・RE-ARC・ConceptARC・ARC-Heavy・ARC-GEN100Kと私有データを混ぜたARC風データで訓練します（§4.2）。評価タスクのデモペアやタスクIDは訓練に使わず、推論時のパラメータ更新もありません（§1）。

公開ARC-AGI-1評価セット400タスクでの結果は、pass@2で29.5%（pass@1は24.25%）。1タスクあたり約0.85 H200 GPU秒、時間単価 $3/H200時で計算して**$ 0.00070/タスクです（§5）。ARC Prizeの2026年7月時点データとの比較では、GPT 5.6 Luna (Low)（34.2%、 $0.040/タスク）より約57倍安く、同モデルの8割値下げを織り込んでも約11倍安い、と論文は述べます（§5）。関連手法のHRM/TRM（評価タスクで最適化を回すtransductive方式）は$ 1.48/$1.76かかるとの引用もあります（§8）。BielikとNYUの共著者によるブラックボックス独立監査**が、モデル重みへのアクセスなしで29.5%を再現しています（§5）。

何ができて、何につまずくか（§6）

この論文の面白さは、スコア1個で終わらせず「デモから何を学べたか」を統制実験で切り分けている点です。

概念ごとの得意不得意。ConceptARC（16概念ファミリー×10タスク）では、タスク単位pass@2が59.4%、テストペア単位では77.9%。境界まで塗り伸ばす系（ExtendToBoundary等）は9/10に達する一方、Copy と Order は2/10です（§6.1）。

外挿の境界。モデル凍結後に生成した統制タスクで、1要素ずつ難度を上げると挙動が割れます。線の伝播とモチーフの複製はデモの範囲を超えても48/48で正解し続けるのに、並べ替え（ordering）は長さ6から崩れて8では1/24、入れ子（nesting）は深さ5で29/36に落ちます（§6.2）。そして決定的なのが介入実験です。テストと同じ複雑度のデモを1枚足すだけで、深さ5の入れ子は19/24→24/24に全快し、長さ8の並べ替えも0/24→13/24まで回復します（§6.2, Table 3）。つまり崩壊の主因は実行能力ではなく「デモが示した範囲の外への外挿」でした。

FIG 2途中経過を1マスずつ表の中で埋め、最後のマスだけが答えになる動的計画法。「中間状態を言葉にせず内部で反復計算し、最後だけ復号する」という潜在推論の直感に近い計算の流れです

合成は操作に依る。文脈だけで定義した色の対応表は、8対応まで増やしても96/96で完璧に適用できます。ところが操作の合成になると、回転+移動は72/72なのに、反射+移動は47/72、色スワップ+移動は0/72（§6.3, Table 4）。「推論の難しさ」は1本の物差しではなく、表現に依存した凸凹のプロファイルだ、というのが論文の見立てです（§9）。

一貫性の欠如。ConceptARCの160タスク中52タスクは「一部のテスト入力だけ正解」でした。規則を正しく帰納できたなら全テスト入力に通るはずなので、これは規則の一貫した適用がまだできていない証拠と論文は述べます（§6.4）。

推論努力はスケールする（§7, §9.2）

訓練時に潜在推論の深さを複数水準で経験させておくと、推論時に「どれだけ考えるか」を選べます。LOW 21%→MEDIUM 27%→HIGH 29.5%と、努力を増やすほどpass@2は単調に上がります（コストはLOWで22%減、§7 Table 5）。また、1B〜600Bパラメータの事前学習でTransformer類似のスケーリング則を確認したとの早期報告もあります（§9.2）。

限界と、読むときの注意

再現不能: 内部の次元・更新則・訓練レシピは非公開です。本論文は「システムとしての実測」であって、アーキテクチャの検証可能な公開ではありません（§3.3, §4.1）。
ConceptARCは訓練混合にも含まれる（§4.2）。不透明ID・混合バッチでの再実行はID/バッチ由来の交絡を除外しますが、論文自身「訓練やチェックポイント選択を通じた露出は除外できない」と認めています（§6.5）。
コスト比較は同一条件ではない: $0.00070は著者計算のハードウェア実測値、比較対象はAPI価格や推計の混在です（§5）。さらに§6.6にはstandard設定$ 0.00265/タスクという別の数値もあり、章間の整合は本文からは読み取れません。
pass@2は独立2回試行ではない: 候補を2つ順位付きで出す方式で、単一候補だった75件はすべて1位が正解でした（§6.6）。
生成タスクの分析には作題交絡: メカニズム別プロファイルはGPT-5.6が作題したもので、手書きの重力タスクは80–100%解けるのに生成版は2.9%という乖離が確認されています（Appendix A.2）。ファミリーあたり10タスクという小標本の限界も明記されています（§6.1）。

現場ではこう使う

この論文から持ち帰れるのは、非Transformer機の応援ではなく、日々の仕事に効く3つの教訓です。

few-shotプロンプトを書く人へ。Table 3の結果は実務にそのまま翻訳できます。本番入力と同じ複雑度の例を最低1つ入れること。簡単な例だけ並べると、モデルは例の範囲内では完璧でも範囲外で静かに崩れます（0/24→13/24の差はデモ1枚分です）。評価するときも、1つの入力で当たったかではなく、複数の入力に同じ規則を通せたか（ペア78% vs タスク59%の乖離）を見るべきです。

推論コストを設計する人へ。各社APIの reasoning_effort や thinking budget にあたるつまみは、本論文でもLOW→HIGHで21→29.5%と単調に効いています。「まずLOWで走らせ、失敗ケースだけHIGHで再試行」のような段階制御を設計する根拠になります。

ベンチマーク結果を読む人へ。落とし穴は3つ。①自前ハードの実測コストとAPI価格を同じ散布図で比べない、②pass@kの中身（独立サンプリングか、候補リストの上位kか）を必ず確認する、③リーダーボードの1点だけでなく、どの操作で崩れるかのプロファイルを求める。この論文はその3点を自己申告している点で、読み方の手本にもなっています。

まとめ

BDH-CQは、デモを再帰メモリ $S$ に書き込み（文脈内学習）、固定サイズの状態のまま潜在ワークスペース $H$ で反復計算する（潜在推論）。途中経過は言語化しない
150Mパラメータ・$0.0007/タスクでARC-AGI-1の29.5% pass@2を達成し、コスト対精度のパレート境界を突破（独立監査で再現）
統制実験により、デモの被覆が外挿を決めること、操作の合成可否が表現依存であること、規則の一貫適用が未達であることまで切り分けた
ただし内部仕様は非公開で、訓練露出・コスト比較条件・小標本という限界も論文自身が列挙している

注意機構そのものの仕組みはAttention機構を1から理解する、「状態を持ち越す」計算の系譜はRNNとLSTM、文脈長とメモリの実務的な攻防はKVキャッシュの解説が下地になります。