2026-08-12·無料·論文·14分で読めます

論文解説: AgentOPSD — 「どのターンが勝敗を分けたか」をベイズ信念の再帰更新で見つけるエージェントRL

長いマルチターン対話の最後に成功/失敗しか教えてくれない環境で、「効いた一手」をどう見つけるか。自己蒸留のギャップをベイズ証拠と読み替え、log-odds空間で信念を再帰更新するAgentOPSDを論文本文から解説。ALFWorld 89.1%の結果、アブレーション、限界まで。

要点

GRPOは軌跡の報酬から作った1つのアドバンテージを、軌跡内の全トークンに一様にコピーする。
同じ報酬の2軌跡でもターンごとの貢献は違い得るため、軌跡報酬だけではターン単位のクレジットを復元できない。
AgentOPSDはヒントあり/なしの対数確率差をターン内で合計し、その行動のベイズ証拠の代理 $e_{k}$ とする。
ターンの重要度は、減衰付きの証拠アキュムレータが持つ成功信念 $B_k$ の差分 $\Delta B_{k}$ で測る。
ALFWorldのQwen2.5-7Bで成功率89.1%、GRPOの81.2%を上回り、追加コストは軌跡あたり教師の順伝播1回だけ。

#agents #reinforcement-learning #grpo #credit-assignment #self-distillation

対象textタスクinference

AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning

一次資料 — この記事の根拠

論文の発表 2026-08-06→この解説の公開 2026-08-12同月

AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement LearningZi-Han Wang, Zhengxi Lu, Zhiyuan Yao ほか · 2026-08-06 · v1arXiv:2608.05987論文ページ·PDF

原文の要旨（Abstract）を読む

Reinforcement learning (RL) with verifiable rewards constructs trajectory-level advantage estimates, yet it often fails to credit the few pivotal decisions that determine outcomes in long-horizon, multi-turn agentic tasks. Recent work introduces privileged self-distillation for credit assignment, providing denser supervision, but it remains unclear how such local signals should represent sequential credit. We propose AgentOPSD, a critic-free, recursive method for turn-level credit assignment in agentic reinforcement learning. AgentOPSD aggregates token-level teacher-student log-probability gaps into turn-level evidence and recursively updates a Bayesian belief state in log-odds space. This yields a principled reweighting scheme that converts sparse outcome supervision into turn-level credit signals and identifies pivotal turns through the marginal belief revision between consecutive states. The method is fully compatible with standard policy optimization and requires neither an additional critic nor extra rollouts. We evaluate AgentOPSD on ALFWorld, WebShop, and Search-QA using Qwen2.5 models at two scales (3B and 7B). AgentOPSD outperforms GRPO and strong self-distillation baselines, achieving 89.1% success on ALFWorld with Qwen2.5-7B. Ablation studies attribute the gains to turn-level aggregation and history-dependent recursive belief updates.

全50手、採点は最後に1回だけ

将棋を1局指し終えたあと、「勝ち」か「負け」だけを告げられて感想戦なし——どの一手が効いてどの一手が無駄だったのか一切教えてもらえないなら、上達は相当に非効率です。ところが、LLMエージェント（外部環境とやりとりしながらタスクをこなすAI）の強化学習は、まさにこの状況で行われています。

今回の論文 AgentOPSD が扱うのは、このクレジット割当（credit assignment）問題です。家事タスクを文字で解くALFWorldのような環境では、エージェントは観測→行動→…と何十ターンも対話し、報酬は軌跡（trajectory）の終了時に成功=1か失敗=0が1回返るだけ（§1）。成功した軌跡にも余計な行動が混ざり、失敗した軌跡にも有用な推論が含まれるのに、既存手法は全部の手に同じ点をつけてしまう——ここが出発点です。

GRPOの「一律配点」

現在の主流であるGRPO（群相対ポリシー最適化）は、同じタスクで $G$ 本の軌跡をサンプリングし、群内での相対的な良し悪しをアドバンテージにします（§2.1）。

A_{\mathrm{seq}}^{(i)}=\frac{R^{(i)}-\bar{R}}{\widehat{\sigma}_{R}+\epsilon_{0}}

(1)

$R^{(i)}$ は軌跡 $i$ の報酬（成功1/失敗0）、 $\bar{R}$ と $\widehat{\sigma}_{R}$ は群内の報酬の平均と標準偏差、 $\epsilon_{0}$ はゼロ除算を防ぐ小さな定数です。つまり「群の平均よりどれだけ良かったか」を1個のスカラーにしたもので、GRPOはこの値を軌跡内の全トークンに一様にコピーします。決定的な一手も定型操作も同じ扱いで、この弱点はターン数（地平線）が伸びるほど深刻になります（§1）。しかも付録の命題6が示すとおり、同じ報酬の2軌跡でもターンごとの貢献は違い得るので、軌跡報酬だけからターン単位のクレジットは原理的に復元できません（Appendix A.2）。報酬とは別の信号が要るのです。

密な信号はある。ただし「順序」を知らない

その別の信号として近年使われているのが特権付き自己蒸留（OPSD）です（§1）。教師と生徒は同じモデル・同じパラメータで、違いは入力だけ。教師側には訓練時にしか見せない「特権情報」——この論文ではタスク関連のスキル（ヒント文）——をプロンプトに足し、同じ行動トークンをヒントあり/なしの両方で採点して、対数確率の差を密な学習信号にします。

ただし論文は、これをエージェントRLに持ち込むと2つのミスマッチが生じると指摘します（§1）。

粒度のずれ: 蒸留信号はトークン単位だが、環境は複数トークンからなる「行動」が完結したターン境界でしか反応しない
履歴の無視: 既存のステップ単位の手法も各ターンを孤立して採点し、それまでの流れの中でその一手が決定的なのか冗長なのかを区別できない

AgentOPSDの中心的な主張はこうです: ターンの功績は、その局所信号の大きさではなく、「最終的に成功しそうだ」という見込みをどれだけ動かしたかで測るべきだ（§1）。

ギャップを「ベイズ証拠」と読み替える

まず粒度のずれを解消します。ターン $k$ のトークン $t$ について、ヒントあり文脈 $h^{+}$ とヒントなし文脈 $h$ での対数確率の差 $\delta_{k,t}$ を取り、ターン内で合計します（§2.2）。

e_{k}=\sum_{t=1}^{L_{k}}\delta_{k,t}=\log\frac{\pi_{\theta}(a_{k}\mid s_{k},c^{+})}{\pi_{\theta}(a_{k}\mid s_{k})}

(2)

$a_{k}$ はターン $k$ の行動（トークン列全体）、 $s_{k}$ はそれまでの対話履歴、 $c^{+}$ が特権スキルです。対数の性質でトークンの差の和は行動全体の確率比になるので、 $e_{k}$ は「ヒントを知っている自分なら、この行動をどれだけ取りやすくなるか」を測ったターン単位の量です。

要するにこの式は、同じ一手を「ヒントを読んだ自分」と「読んでいない自分」の二人に採点させ、その点差を報告しているだけです。 $e_{k}$ が大きく正なら、その行動はヒント（＝成功への道筋）に強く後押しされている、と読みます。

論文はここに確率論的な意味を与えます。成功に至る行動なら、成功者の振る舞いとしての方が自然なはず。ベイズの定理から、行動 $a_k$ による成功信念の変化はlog-odds（対数オッズ）の差＝成功条件付き/失敗条件付き尤度の比（ベイズ因子）として書けます（§2.2 式3）。「スキル付き分岐は成功に紐づく振る舞いの近似、スキルなし分岐は背景分布」という仮定の下で、 $e_{k}$ はこの理想のベイズ証拠の計算可能な代理になる——これが論文の解釈です。付録A.1によれば、近似が厳密なのは成功率が低い極限ですが、符号と順位づけは常に保たれ、AgentOPSDが使うのはそこだけです。

log-oddsと確率を行き来するのがシグモイド関数 $\sigma$ です。この後の信念更新の主役なので、形を体で覚えておきましょう。

FIG 1シグモイドはlog-odds（横軸）を確率（縦軸）に変換する。中央付近では入力の小さな変化が出力を大きく動かすが、両端では飽和してほぼ動かない——この性質が後述の「勝負が決まった後の証拠は割り引く」ゲートになる

証拠を積む: log-odds空間の再帰的信念更新

ここからが本題の再帰です。局所的な $e_{k}$ だけでは、その証拠が流れの中で決定的なのか、いまさら冗長なのかが分かりません。AgentOPSDは「この軌跡は最終的に成功するだろう」という信念 $B_k$ を、減衰付きの証拠アキュムレータとして持ち回ります（§2.3）。

B_{0}=\operatorname{clip}(\bar{R},\epsilon_{0},1-\epsilon_{0}),\qquad c_{k}=\gamma\,c_{k-1}+e_{k},\qquad B_{k}=\sigma\big(\operatorname{logit}(B_{0})+c_{k}\big)

(3)

初期信念 $B_{0}$ はその群の成功率 $\bar{R}$ （GRPOの群平均そのもの）で、検証器由来の難易度推定から出発します。 $c_{k}$ は溜めた証拠、減衰率 $\gamma\in(0,1]$ は古いターンの証拠を幾何級数的に薄めます（ $\gamma=1$ なら逐次検定でおなじみの対数尤度比の無減衰累積）。log-oddsに証拠を足してシグモイドで確率に戻す、教科書どおりのベイズ更新です。

要するにこの3本は「①出発点はこのタスクがそもそもどれくらい解けるか ②証拠は足していくが、古いものから少しずつ忘れる ③その合計を確率に戻す」と言っているだけです。 $\gamma$ は「何ターン前の証拠まで覚えておくか」のつまみだと思えば十分です。

そしてターン $k$ の重要度は、信念の差分で測ります。

\Delta B_{k}=B_{k}-B_{k-1}\approx B_{k-1}(1-B_{k-1})\big(e_{k}-(1-\gamma)\,c_{k-1}\big)

(4)

言い換えると、この式が測っているのは「そのターンで『これは成功しそうだ』が何ポイント動いたか」です。動かした幅が大きい一手ほど、その軌跡の功労者だと見なされます。

右辺の読み方が本論文の肝です。カッコ内は「新しい証拠から、減衰で失われた持ち越し分を引いた正味の更新」。それに掛かる $B_{k-1}(1-B_{k-1})$ は、さきほどの動く図で見たシグモイドの傾き＝信念が五分五分のとき最大、0や1に飽和すると消えるゲートです。同じ局所ギャップでも、勝敗未確定の局面では大きなクレジットになり、大勢が決した後は自動的に割り引かれる——「局所信号はそれ自体では逐次的なクレジットではない」という主張がこの1行に凝縮されています。

結果の向きに合わせて、有界に再配分する

最後に、この信念変化をGRPOのアドバンテージに接続します（§2.4）。まず検証器の結果と向きを揃え（ $q_{k}=\operatorname{sign}(A_{\mathrm{seq}})\,\Delta B_{k}$ ）、軌跡内で標準化した $z_k$ から有界の乗数を作り、元のアドバンテージを変調します。

w_{k}=\operatorname{clip}(1+b\,z_{k},\,1-b,\,1+b),\qquad \widetilde{A}_{k}=A_{\mathrm{seq}}\big[(1-\lambda)+\lambda\,w_{k}\big]

(5)

$b$ は乗数の振れ幅（論文設定0.2）、 $\lambda$ は再形成の強さ（同0.5）。つまり $w_{k}$ は「元の点数を最大±20%だけ上下させるつまみ」、 $\widetilde{A}_{k}$ は「元の点数と、つまみを回した後の点数を半々で混ぜた最終点」です。土台はGRPOの採点のまま、効いたターンを少し厚く、惰性のターンを少し薄くしているだけ、と読めます。ターン内の全トークンはそのターンの $\widetilde{A}_{k}$ を継承し、あとは通常のクリップ付きGRPO目的関数に流すだけで、別個の蒸留損失は足しません（式12）。乗数は常に正なのでGRPOの更新方向を反転させず（付録A.2 命題2）、 $\lambda=0$ で厳密にGRPOへ退化（命題3）、追加コストは軌跡あたり教師の順伝播1回だけで、criticも追加ロールアウトも不要です（Appendix B）。

コードで骨格を掴む

再形成部分だけ抜き出すと、numpyでこの程度です（Algorithm 1の13〜20行に対応）。

def reshape(A_seq, e, R_bar, gamma=0.95, lam=0.5, b=0.2):
    l0 = logit(np.clip(R_bar, 1e-4, 1 - 1e-4))   # 群の成功率が事前信念
    B_prev, c, q = sigmoid(l0), 0.0, []
    for e_k in e:                                 # e_k: ターンkの教師-生徒ギャップ(detach済み)
        c = gamma * c + e_k
        B = sigmoid(l0 + c)
        q.append(np.sign(A_seq) * (B - B_prev)); B_prev = B
    z = (np.array(q) - np.mean(q)) / (np.std(q) + 1e-4)
    return A_seq * ((1 - lam) + lam * np.clip(1 + b * z, 1 - b, 1 + b))

学習パラメータもロールアウトも増えず、GRPO実装への「後付け1関数」で済む形をしています。

実験: 地平線が長いほど効く

評価はALFWorld（家事、最大50ターン設定）・WebShop（買い物、同15ターン）・Search-QA（検索QA、同4ターン）×Qwen2.5-3B/7B-Instructの2スケール（§3.1、Appendix F）。主な結果は以下です（§3.2）。

ALFWorldでQwen2.5-7Bの成功率89.1%。GRPOの81.2%、ターン単位だが局所採点のStepOPSDの88.4%を上回る
8つの集計比較で、同じスキルを使う特権系ベースラインGRPO+OPSD・Skill-SD・RLSDに全勝、SDARには6勝2敗。スキルへのアクセスは同条件なので、差はクレジットの作り方から来ている、というのが論文の整理
ターン数への感度（図1b）: 1ターン延びるごとに失う成功率がRLSDは−3.59、GRPOは−2.91ポイントに対し、AgentOPSDは−0.54ポイントと最も平坦。一様配点の被害が大きい長地平線ほど設計どおり効いています

アブレーション（§3.3、7B/ALFWorld）ではフル構成89.1に対し、トークン単位への細分化で85.9、 $\Delta B_k$ の代わりに生の $e_k$ で82.8、符号を捨て $|\Delta B_k|$ だけで80.5、事前信念 $B_0$ のアンカーを外すと78.9。再帰（履歴依存）・符号（結果整合）・事前アンカーのどれを抜いても崩れる構造です。ハイパーパラメータは $\lambda$ だけが系統的に効き（0.5が最良）、 $\gamma$ やクリップ幅には鈍感でした（§3.4）。

論文の限界と読み方

誇張せずに読むための注意点も論文自身が明記しています。

$B_k$ は校正された成功確率ではない。論文は相対的な支持度として扱っています（§2.3）
ベイズ因子との対応が厳密なのは成功率が低い極限（付録A.1）。使うのは符号と順位だけとはいえ、理論保証はその範囲です
訓練時にスキル検索が要る。特権スキルはSkillRLのSkillBankからキーワードマッチで取得しており（§3.1）、これが無い環境ではそのまま使えません（推論時は不要）
検証はQwen2.5の3B/7B×テキスト環境3種の範囲。万能でもなく、7B/WebShopの厳密達成率ではSDAR（82.8%）が上回ります（表1）
短い地平線では効果が薄い。4ターンのSearch-QAではノブを動かしてもほぼ差が出ません（§3.4）

現場ではこう使う

実務でこの論文が刺さるのは、マルチターンのエージェント（ツール操作、検索エージェント、業務フロー自動化など）をGRPO系でpost-trainingしている学習エンジニアです。「報酬は最後に成否1bitだが対話は10ターンを超える」状況が導入のサインで、逆に数手で終わるタスクなら論文自身の結果（Search-QAでの鈍感さ）どおり見送りが妥当です。

触るパラメータは付録Fが実名で挙げています: 再形成の強さ mult_lambda（ $\lambda$ =0.5、唯一系統的に効くノブ）、乗数の振れ幅 mult_band（ $b$ =0.2）、証拠の減衰 gap_decay_gamma（ $\gamma$ =0.95）、クリップ上限 $\epsilon_{\mathrm{high}}$ =0.24。全環境・全スケールで1セット共用なので、タスクごとの再チューニング前提でない点も運用向きです。

事故になりやすい落とし穴は4つ。①教師分岐のdetach忘れ——Algorithm 1では教師-生徒ギャップに stop-gradient がかかっており、ここに勾配が流れると「蒸留損失を足さない」設計が壊れる。②符号 $\operatorname{sign}(A_{\mathrm{seq}})$ の省略——大きさだけ使うと89.1→80.5とGRPO以下まで落ちる。③トークン単位への安易な細分化——環境が反応するのはターン境界で、細かくするとむしろ悪化する（85.9）。④特権スキルの漏洩——スキルは訓練時のみ。評価プロンプトに混入すると数字の意味が変わります。

面接や設計レビューなら、「GRPOのクレジット割当の弱点は？」（→軌跡アドバンテージの一様ブロードキャスト。同じ報酬でもターン貢献は識別不能=命題6）、「criticなしでターン単位の価値信号をどう作る？」（→信念状態が価値ベースライン、その差分がTD信号の役割=§4.3）が筋の良い答え方です。

次に読む

LLMエージェント入門 — 観測→行動のループとツール呼び出しという、本稿の前提の基本構造
指示チューニングとRLHF — 報酬からLLMを更新する枠組みの土台
論文解説: EnvACE — 同じエージェントRLを「環境側」から攻める最新研究。本稿と対で読むと視界が開ける