2026-09-27·★ 会員·論文·12分で読めます

論文解説: Bellman Policy Optimization — 価値モデルなしで「方策ミラー降下」をLLMに持ち込む

ゴールでしか採点されないLLMの強化学習で、途中の状態価値を一切推定せずに方策ミラー降下（PMD）と同じ最適解を狙うBPO (arXiv:2609.15987)。ベルマン方程式の「伸縮する和」から実用損失までを、論文本文だけを根拠に1から解説する。

要点

RLVRは答えを機械的に照合でき、応答の最後にだけ報酬が付く設定で、LLMの推論能力を高める。
BPOは方策ミラー降下(PMD)から導いた、価値モデル(critic)を使わない手法である。
最後にだけ報酬が付く生成では、ベルマン方程式でPMDを軌跡単位の目的関数に書き換えられ、途中の状態の価値推定が不要になる。
この書き換えは元のPMDと同じ唯一の最適解を持ち、近似して得るBPO損失の補正重みはトークン確率の補数(1−p)どうしの平滑化された比になる。
GRPOは同じ問題の応答をG本生成して報酬をグループ内で標準化し、アドバンテージとする。BPOが差し替えるのは重要度比rの部分である。

#reinforcement-learning #rlvr #grpo #policy-optimization #reasoning #llm

対象textタスクevaluation

Bellman Policy Optimization

一次資料 — この記事の根拠

論文の発表 2026-09-14→この解説の公開 2026-09-27同月

Bellman Policy OptimizationZhuoqing Song, Haotian Xu, Xikun Zhang ほか · 2026-09-14 · v1arXiv:2609.15987論文ページ·PDF

原文の要旨（Abstract）を読む

Reinforcement learning with verifiable rewards (RLVR) improves the reasoning capabilities of large language models (LLMs). We introduce Bellman Policy Optimization (BPO), a critic-free method derived from Policy Mirror Descent (PMD). For autoregressive generation with terminal rewards, BPO uses the Bellman equations to reformulate PMD as a trajectory-level objective. The reformulation avoids estimating state values at intermediate states. We prove that it has the same unique optimal solution as the original PMD objective. We derive the practical BPO loss by approximating this objective. Its mismatch-correction weight is a smoothed ratio of complementary token probabilities. Experiments on mathematical reasoning benchmarks demonstrate the effectiveness of BPO.

ゴールでしか点がつかない試験

数学の答案を、途中式は一切見ず「最後の答えが合っているか」だけで採点する先生を想像してください。生徒は何百行も書きますが、返ってくるのは○か×の1ビットだけ。どの行が良くてどの行がまずかったのかは、誰も教えてくれません。

LLMの推論力を強化学習で伸ばす RLVR（Reinforcement Learning with Verifiable Rewards、検証可能な報酬による強化学習） は、まさにこの状況です。答えを機械的に照合できる数学問題などで、応答の最後にだけ報酬が付きます。

今回の論文 "Bellman Policy Optimization"（Zhuoqing Song, Haotian Xu, Xikun Zhang, Lidong Bing／arXiv:2609.15987, 2026-09-14）は、この「最後にだけ点がつく」という性質を逆手に取ります。

アブストラクトの要旨はこうです。RLVRはLLMの推論能力を高める。著者らは、方策ミラー降下（Policy Mirror Descent, PMD）から導いた、価値モデル（critic）を使わない手法 BPO を提案する。最後にだけ報酬が付く自己回帰生成では、ベルマン方程式を使ってPMDを軌跡（応答全体）単位の目的関数に書き換えられ、途中の状態の価値を推定する必要がなくなる。この書き換えが元のPMDと同じ唯一の最適解を持つことを証明し、それを近似して実用的なBPO損失を得る。その損失の補正重みは「トークン確率の補数（1−p）どうしの、平滑化された比」になる。数学推論ベンチマークで有効性を示した——。

おさらい: GRPOは何をしているか

現在のRLVRで広く使われているのが GRPO（Group-Relative Policy Optimization） です（§2.3）。1つの問題に対してG本の応答を生成し、グループ内で報酬を標準化して「その応答がどれだけ平均より良かったか」をアドバンテージ $\hat{A}^i$ とします。

\hat{A}^{i}=\frac{R_{i}-\mathrm{mean}(\{R_j\})}{\mathrm{std}(\{R_j\})}

(1)

言い換えると、「同じ問題を16回解かせて、平均より正解に寄った答案には＋、外した答案には−の点をつける」ということです。1本の応答の中の全トークンが同じ点を共有します。

ここで実務上の厄介さがあります。応答を生成した方策（ロールアウト方策 $\mu$ ）と、いま学習している方策 $\pi$ は、更新のタイミングのずれや推論エンジンと学習エンジンの数値差で少しずつ食い違います（§2.3）。GRPOはこの食い違いを重要度比 $r=\pi(y_t)/\mu(y_t)$ で補正し、PPO流にクリップします。BPOが最終的に差し替えるのは、まさにこの $r$ の部分です。

PMD: 「前の方針から離れすぎずに、良い手を少し増やす」

BPOの出発点は 方策ミラー降下（PMD） です（§2.5）。各状態で次の問題を解きます。

\max_{\pi(\cdot|s)}\ \mathbb{E}_{y\sim\pi}\big[A^{\mu}(s,y)\big]-\frac{1}{\eta}D_{\mathrm{KL}}\big(\pi(\cdot|s)\,\|\,\mu(\cdot|s)\big)

(2)

言い換えれば、「良い手（アドバンテージ $A^\mu$ が大きいトークン）を選ぶ確率を上げたい。ただし元の方策 $\mu$ から離れすぎたら罰金（KLダイバージェンス）」という綱引きです。 $\eta$ は歩幅で、大きいほど大胆に動きます。KLダイバージェンスについては KLダイバージェンスの記事で詳しく扱っています。

この問題には閉じた形の答えがあります（式(17)）。

\pi^{+}(y|s)=\frac{\mu(y|s)\exp\big(\eta A^{\mu}(s,y)\big)}{Z_{\mu}(s)}

(3)

つまり「元の確率に、良さの指数をかけて、合計1になるよう割り直す」だけです。 $Z_\mu(s)$ は割り直しのための合計値（分配関数）です。これはsoftmaxの形そのもので、 $\eta$ は温度の逆数の役を果たします。下の図で温度を動かすと、 $\eta$ を大きくしたとき（温度を下げたとき）に分布が良い手へ鋭く寄っていく様子が体感できます。

FIG 1PMDの更新は「元の確率×exp(η×良さ)」を正規化したsoftmaxと同じ形。温度を下げる＝ηを上げると、良い手に確率が集中する

論文解説: Bellman Policy Optimization — 価値モデルなしで「方策ミラー降下」をLLMに持ち込む

要点

ゴールでしか点がつかない試験

おさらい: GRPOは何をしているか

PMD: 「前の方針から離れすぎずに、良い手を少し増やす」

ここから先は会員限定です

参考文献

コメント