2026-08-12·★ 会員·論文·14分で読めます

論文解説: AgentOPSD — 「どのターンが勝敗を分けたか」をベイズ信念の再帰更新で見つけるエージェントRL

長いマルチターン対話の最後に成功/失敗しか教えてくれない環境で、「効いた一手」をどう見つけるか。自己蒸留のギャップをベイズ証拠と読み替え、log-odds空間で信念を再帰更新するAgentOPSDを論文本文から解説。ALFWorld 89.1%の結果、アブレーション、限界まで。

#agents #reinforcement-learning #grpo #credit-assignment #self-distillation

対象textタスクinference

AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning

一次資料 — この記事の根拠

論文の発表 2026-08-06→この解説の公開 2026-08-12同月

AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement LearningZi-Han Wang, Zhengxi Lu, Zhiyuan Yao ほか · 2026-08-06 · v1arXiv:2608.05987論文ページ·PDF

原文の要旨（Abstract）を読む

Reinforcement learning (RL) with verifiable rewards constructs trajectory-level advantage estimates, yet it often fails to credit the few pivotal decisions that determine outcomes in long-horizon, multi-turn agentic tasks. Recent work introduces privileged self-distillation for credit assignment, providing denser supervision, but it remains unclear how such local signals should represent sequential credit. We propose AgentOPSD, a critic-free, recursive method for turn-level credit assignment in agentic reinforcement learning. AgentOPSD aggregates token-level teacher-student log-probability gaps into turn-level evidence and recursively updates a Bayesian belief state in log-odds space. This yields a principled reweighting scheme that converts sparse outcome supervision into turn-level credit signals and identifies pivotal turns through the marginal belief revision between consecutive states. The method is fully compatible with standard policy optimization and requires neither an additional critic nor extra rollouts. We evaluate AgentOPSD on ALFWorld, WebShop, and Search-QA using Qwen2.5 models at two scales (3B and 7B). AgentOPSD outperforms GRPO and strong self-distillation baselines, achieving 89.1% success on ALFWorld with Qwen2.5-7B. Ablation studies attribute the gains to turn-level aggregation and history-dependent recursive belief updates.

全50手、採点は最後に1回だけ

将棋を1局指し終えたあと、「勝ち」か「負け」だけを告げられて感想戦なし——どの一手が効いてどの一手が無駄だったのか一切教えてもらえないなら、上達は相当に非効率です。ところが、LLMエージェント（外部環境とやりとりしながらタスクをこなすAI）の強化学習は、まさにこの状況で行われています。

今回の論文 AgentOPSD が扱うのは、このクレジット割当（credit assignment）問題です。家事タスクを文字で解くALFWorldのような環境では、エージェントは観測→行動→…と何十ターンも対話し、報酬は軌跡（trajectory）の終了時に成功=1か失敗=0が1回返るだけ（§1）。成功した軌跡にも余計な行動が混ざり、失敗した軌跡にも有用な推論が含まれるのに、既存手法は全部の手に同じ点をつけてしまう——ここが出発点です。

GRPOの「一律配点」

現在の主流であるGRPO（群相対ポリシー最適化）は、同じタスクで $G$ 本の軌跡をサンプリングし、群内での相対的な良し悪しをアドバンテージにします（§2.1）。

A_{\mathrm{seq}}^{(i)}=\frac{R^{(i)}-\bar{R}}{\widehat{\sigma}_{R}+\epsilon_{0}}

(1)

$R^{(i)}$ は軌跡 $i$ の報酬（成功1/失敗0）、 $\bar{R}$ と $\widehat{\sigma}_{R}$ は群内の報酬の平均と標準偏差、 $\epsilon_{0}$ はゼロ除算を防ぐ小さな定数です。つまり「群の平均よりどれだけ良かったか」を1個のスカラーにしたもので、GRPOはこの値を軌跡内の全トークンに一様にコピーします。決定的な一手も定型操作も同じ扱いで、この弱点はターン数（地平線）が伸びるほど深刻になります（§1）。しかも付録の命題6が示すとおり、同じ報酬の2軌跡でもターンごとの貢献は違い得るので、軌跡報酬だけからターン単位のクレジットは原理的に復元できません（Appendix A.2）。報酬とは別の信号が要るのです。

密な信号はある。ただし「順序」を知らない

その別の信号として近年使われているのが特権付き自己蒸留（OPSD）です（§1）。教師と生徒は同じモデル・同じパラメータで、違いは入力だけ。教師側には訓練時にしか見せない「特権情報」——この論文ではタスク関連のスキル（ヒント文）——をプロンプトに足し、同じ行動トークンをヒントあり/なしの両方で採点して、対数確率の差を密な学習信号にします。

ただし論文は、これをエージェントRLに持ち込むと2つのミスマッチが生じると指摘します（§1）。

粒度のずれ: 蒸留信号はトークン単位だが、環境は複数トークンからなる「行動」が完結したターン境界でしか反応しない
履歴の無視: 既存のステップ単位の手法も各ターンを孤立して採点し、それまでの流れの中でその一手が決定的なのか冗長なのかを区別できない

AgentOPSDの中心的な主張はこうです: ターンの功績は、その局所信号の大きさではなく、「最終的に成功しそうだ」という見込みをどれだけ動かしたかで測るべきだ（§1）。

ギャップを「ベイズ証拠」と読み替える

まず粒度のずれを解消します。ターン $k$ のトークン $t$ について、ヒントあり文脈 $h^{+}$ とヒントなし文脈 $h$ での対数確率の差 $\delta_{k,t}$ を取り、ターン内で合計します（§2.2）。

e_{k}=\sum_{t=1}^{L_{k}}\delta_{k,t}=\log\frac{\pi_{\theta}(a_{k}\mid s_{k},c^{+})}{\pi_{\theta}(a_{k}\mid s_{k})}

(2)

$a_{k}$ はターン $k$ の行動（トークン列全体）、 $s_{k}$ はそれまでの対話履歴、 $c^{+}$ が特権スキルです。対数の性質でトークンの差の和は行動全体の確率比になるので、 $e_{k}$ は「ヒントを知っている自分なら、この行動をどれだけ取りやすくなるか」を測ったターン単位の量です。

要するにこの式は、同じ一手を「ヒントを読んだ自分」と「読んでいない自分」の二人に採点させ、その点差を報告しているだけです。 $e_{k}$ が大きく正なら、その行動はヒント（＝成功への道筋）に強く後押しされている、と読みます。

論文はここに確率論的な意味を与えます。成功に至る行動なら、成功者の振る舞いとしての方が自然なはず。ベイズの定理から、行動 $a_k$ による成功信念の変化はlog-odds（対数オッズ）の差＝成功条件付き/失敗条件付き尤度の比（ベイズ因子）として書けます（§2.2 式3）。「スキル付き分岐は成功に紐づく振る舞いの近似、スキルなし分岐は背景分布」という仮定の下で、 $e_{k}$ はこの理想のベイズ証拠の計算可能な代理になる——これが論文の解釈です。付録A.1によれば、近似が厳密なのは成功率が低い極限ですが、符号と順位づけは常に保たれ、AgentOPSDが使うのはそこだけです。

log-oddsと確率を行き来するのがシグモイド関数 $\sigma$ です。この後の信念更新の主役なので、形を体で覚えておきましょう。

FIG 1シグモイドはlog-odds（横軸）を確率（縦軸）に変換する。中央付近では入力の小さな変化が出力を大きく動かすが、両端では飽和してほぼ動かない——この性質が後述の「勝負が決まった後の証拠は割り引く」ゲートになる

論文解説: AgentOPSD — 「どのターンが勝敗を分けたか」をベイズ信念の再帰更新で見つけるエージェントRL

全50手、採点は最後に1回だけ

GRPOの「一律配点」

密な信号はある。ただし「順序」を知らない

ギャップを「ベイズ証拠」と読み替える

ここから先は会員限定です

参考文献

コメント