推論時スケーリング — 「長く考える」モデルの原理

同じモデルでも長く考えさせると正答率が上がる。その原理を、途中式を書くCoT、何度も解いて多数決する自己一貫性、候補を選ぶ検証器、思考の長さ自体を強化学習で獲得したo1系まで1から解く。計算の置き場所が学習から推論へ移るとは何を意味するのか。

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

将棋の長考と、暗算の即答

人間は難しい問題ほど長く考えます。詰将棋を前にした棋士は数分黙り込みますが、「3+4は？」なら即答します。かける時間を難しさに合わせるのは当たり前すぎて、意識すらしません。

言語モデルは長いあいだ、この当たり前を持っていませんでした。「1+1は？」でも「この未解決問題を解け」でも、1トークンを吐くのにかかる計算量はまったく同じです。層の数が固定だからです。24層のモデルはどんな入力にも24層分だけ計算して次の単語を出す。それ以上考えることも、手を抜くこともできません。

ここで試験を思い浮かべてください。「途中式は書くな、答えだけ書け」と言われたら、解けるのは暗算できる範囲までです。紙を渡された瞬間、3桁×3桁の掛け算も解けるようになる。能力が上がったのではなく、作業スペースが与えられただけです。推論時スケーリング（test-time scaling）は、この紙を言語モデルに渡す話であり、紙の正体はモデル自身の出力トークン列そのものです。

計算の置き場所は2つある

大規模モデルの計算コストは、支払うタイミングで2つに分かれます。学習時の総計算量は、パラメータ数 $N$ と学習トークン数 $D$ からおおよそこう見積もられます。

「学習の総計算量は、パラメータ1個・トークン1個あたり定数回の演算で決まる」という意味です。定数6は順伝播と逆伝播を合わせた演算回数から来ています。つまり $N$ はモデルが持つつまみの数、$D$ は読ませた文章の量で、どちらを2倍にしても学習の電気代は2倍になるということ。この式を軸に予算配分を論じたのがスケーリング則でした。

対して推論時の計算量は、処理トークン数 $T$ でほぼ決まります。

「1トークンあたりパラメータ数の約2倍の演算」という意味で、逆伝播がないぶん定数が小さい。つまり $T$ は読み書きしたトークンの本数で、モデルを1文字も変えなくても、長く書かせただけ請求額が伸びるということです。

決定的な違いは支払い回数です。学習費用は一度払えば全ユーザーで山分けされますが、推論費用はリクエストのたびに発生します。だから業界の努力は長らく推論を削る方向——量子化、蒸留、KVキャッシュ——に向いていました。推論時スケーリングはその逆張りで、$T$ を意図的に増やし、増えた計算で正答率を買います。

なぜトークンを吐くと賢くなるのか

ここが一番大事な理屈です。Transformerが1トークンを生成するとき使える計算は「層数 × 層あたりの計算量」で頭打ちです。つまり1トークン = 計算ステップ1回分。多段の推論が必要な問題は、この1回に収まりません。

ところが途中結果を出力に書き出してしまえば、次のトークンを作るときにそれを入力として読み直せます。書き出した瞬間、中間結果が外部メモリに保存され、しかも計算ステップが1回分増える。10トークン書けば実質10ステップ積み増したことになります。

これがChain-of-Thought（CoT、思考の連鎖）の正体です。「ステップバイステップで考えて」は精神論ではなく、計算ステップの追加購入命令です。CoT論文（Weiら 2022）で実証されたこと・されていないことの線引きはプロンプトエンジニアリングの科学で扱いました。重要なのは、CoTが一定規模を超えたモデルでのみ効く創発だった点です。小さいモデルに途中式を書かせると、もっともらしく破綻した式を書いてかえって精度が落ちます。紙を渡しても、書ける中身がなければ意味がない。

1本の鎖は、途中で切れる

CoTの弱点は推論経路が1本しかないことです。生成は確率的で、各ステップでモデルは分布からトークンを選びます。3ステップ目で符号を間違えれば、あとがどれだけ丁寧でも答えは外れる。しかも自信満々の口調のまま外れます。

たとえば「毎月3千円ずつ貯めて、途中で1万2千円使った。18ヶ月後の残高は？」という問題なら、正解に至る道は複数あります。18ヶ月分を先に足してから引いてもいいし、月ごとに残高を追ってもいい。どの道も同じ答えに着きますが、どの道を選ぶかは生成時に確率で決まります。そして選んだ道の途中で「3千円×18ヶ月」を5万2千円と書き損じれば、そこから先は全部その誤りの上に積み上がる。人間なら検算しますが、CoTは書いた式をそのまま正しいものとして次へ進みます。

どのくらいブレるかを決めるのが温度（temperature）です。0に近いと毎回いちばん確率の高いトークンだけを選ぶので、何度走らせても同じ答えが返る。上げると分布が平たくなり、2番手・3番手の道も選ばれます。次の図で、温度を動かしたときに分布がどう尖り、どう平たくなるかを確かめてください。この「平たさ」が、これから話す全手法の燃料になります。

温度0で16回サンプルしても、返るのは同じ答えが16個です。費用だけ16倍払って情報は1個分。多様性がなければ、何度解かせても意味がない。逆に上げすぎれば途中式そのものが壊れます。ここに最初の調整つまみがあります。

何度も解いて、多数決を取る

複数の経路をサンプルできるなら、次の手は自然です。N本解かせて最終的な答えの多数決を取る。これがSelf-Consistency（自己一貫性、Wangら 2022）です。理屈は確率の周辺化で、知りたいのは「答え $a$ の確からしさ」であって途中の道筋 $r$ ではありません。

「問題 $x$ に対する答え $a$ の確率は、$a$ に至るあらゆる道筋 $r$ の確率を全部足したもの」という意味です。つまり、答えの確からしさを決めるのはいちばん確率の高い1本の道ではなく、そこに着く道が何本あるかの合計だということ。CoTの貪欲デコードはこの総和のうち確率最大の1本だけを見て答えを決めている。道が違えば答えも違うのに、1票しか数えていません。