論文解説 Large Discovery Models — LLMに「次に何を試すべきか」を教える価値信号

LLMは案を出せても、その案が本当に良いかを自分では採点できない。論文 Large Discovery Models は、LLMの提案分布をガウス過程由来の「獲得値」で傾けることで、高価な実験予算のもとでの探索を回す枠組みを示す。式から実験数値まで1から解説。

Large Discovery Models: Empirically-grounded Model-Based Open-Ended Search

安い答え合わせと、高い答え合わせ

LLMに数学やコードを解かせるとき、答え合わせは安く済みます。証明はチェッカーに、プログラムは単体テストにかければいい。論文はこれを「安価で反復可能な検証器(verifier)が使える領域」と整理します(§1)。だから「大量に生成して検証器で選ぶ」推論時スケーリングが効く。

科学の発見はここが違います。候補空間は膨大で構造を持ち、最初から全部を書き出せない。評価はシミュレーションや生物学的アッセイに依存して1回が高く、自由に繰り返せず、値は遅れたりノイズを含んだりする(§1)。だから発見システムは「どれを評価するか」だけでなく、そもそもどの仮説を土俵に上げるかまで決めなければなりません。論文が提案する Large Discovery Model(LDM) は、この2つを別部品に分けます。案を出すのはLLM、その案に値段をつけるのは別の統計モデル、という構えです。

比喩: 目利きを連れた骨董市

あなた(LLM)は膨大な品物から「これはそれっぽい」と目星をつける勘を持っています。ありえない形の壺は最初から手に取らない。ただし本物かは分からない。そこで鑑定人(代理モデル)を連れて行きます。鑑定人が持つのは自分で鑑定した品のデータだけで、「推定80点、ただし自信は薄い」というふうに推定値と不確かさの両方を返します。何を本鑑定に回すかを決めるのは、点数そのものではなくそこに1回分の予算を使う価値です。誰が見ても85点の品より、推定70点でも読み違えの幅が大きい品のほうが調べる価値が高いこともある。この決定価値を数値化したものが獲得関数(acquisition function)で、論文の中心はここにあります(§3)。

発見の定義と、4つの「知らない」

論文はまず発見を操作的に定義します(Definition 1)。エージェントが仮説や設計を生成し、限られた数を外部の評価者に投げ、返ってきた観測で信念を更新して次の探索を導く逐次プロセス。そこで従来知られていなかった非自明な関係・機構・設計が経験的証拠つきで特定されたとき、発見とみなす。論文自身、これは「探索として定式化できる科学」に限った定義だと但し書きを添えています。

そのうえで設計空間を4象限に分けます(§2)。既知の既知は評価済みで不確かさ $\sigma_t(x)$ が低いもの。既知の未知は探索が定式化でき代理モデルも扱えるが $\sigma_t(x)$ が高いもの。未知の既知は外部のデータベースや並行する探索に答えがあるのに、いまの文脈へ取り込めていないもの。未知の未知は探索手続きが到達できないか、代理モデルの台(support)の外にあって予測が意味を持たないものです。

ここから3操作が出ます。活用は既知の既知で高い予測値を取ること、探索は既知の未知を評価して不確かさを潰すこと、発見は探索フロンティア——手続きが定式化・到達・モデル化できる範囲の境界——そのものを動かすこと。論文の区別は鋭くて、未評価の設計を評価するだけでは発見ではない。台の内側にある未評価の設計は既知の未知であり、それを潰すのは探索にすぎません。

3つの部品と、中心にある1本の式

LDMは3部品からなります(§3)。生成基盤モデル $p_{\theta,\alpha}(x\mid\mathcal{C}_t)$ は探索文脈に条件づけた提案分布で、$\theta$ が重み、$\alpha$ が推論時設定(プロンプト戦略、温度、計算予算)です。確率的代理モデルは評価済みデータ $\mathcal{D}_t$ に条件づけた事後分布で、予測平均 $\mu_t(x)$ と不確かさ $\sigma_t(x)$ を返す。獲得関数 $a_t(x)$ はその2つから、その候補に計算や実験を割く価値をスカラーで返します。探索方策 $\pi_t$ は次の変分問題の解です(式(2))。

つまりこの式は、候補の選び方 $q$ をあらゆる形で見渡して、「獲得値の平均点 − 元の勘から離れた分の罰金」がいちばん大きくなる選び方を採れと言っています。$\mathbb{E}_{x\sim q}[a_t(x)]$ が「その選び方で候補を引いたときの平均点」、$\mathrm{KL}$ が「LLMの提案分布からどれだけ離れたか」、$1/\eta$ がその離脱1単位あたりの料金です。

平たく言えば「獲得値の高い候補を出したい。ただしLLMの提案分布から離れすぎるな」という綱引きです。第1項が価値の高いほうへ確率質量を寄せる力、第2項が元の分布から離れることへの罰、$\eta$ がその強さを決めます。解は閉じた形で書けます(Proposition 1, 式(3))。

つまり最適な探索分布は、LLMの提案分布に $\exp\{\eta\,a_t(x)\}$ を掛けて正規化しただけのものです($Z_t$ は合計を1にするための割り算)。これは、獲得値が1点上がるごとにその候補の出やすさが $e^{\eta}$ 倍になる、ということ。新しい探索器を作るのではなく、LLMという既存の湧き口に倍率をかけているだけです。論文はこれを無限本腕バンディットとして読み替えます。設計は事前に並べられないので「リザーバ(reservoir)」から湧いて出る。LLMがそのリザーバで、獲得値が湧き口を有望な方向へ傾ける力になる、という読み方です(§3.1)。

論文は両端も明示します。$\eta\to0$ で傾きが消え、データを一切見ない純粋なLLM探索になる。逆に $\alpha\to0$ でリザーバが一様分布へ広がり $\eta$ も大きく取ると、古典的なベイズ最適化に戻る。LDMはこの2極の中間に住んでいます。前提に不安があればベイズ的思考を1から理解するを先に読むと楽になります。