論文解説: ABSeeker — 答えから逆算して「良い一手」を採点する、長距離検索エージェントの訓練法

何十手もWeb検索を重ねるエージェントの訓練では「最後に正解したか」しか報酬がなく、途中の良い一手も悪い一手も同じ扱いになる。答えから手がかりを逆算して全ステップを採点するABC（Answer-Backtracked Credit Assignment）と、それで訓練された4BモデルABSeekerを、論文本文に沿って1から解説する。

ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment

勝敗しか教えてくれないコーチ

100手指した将棋の対局後、コーチが言うのは「勝ち」か「負け」の一言だけ — こんな指導で強くなれるでしょうか。勝った対局にも悪手は混ざっているし、負けた対局にも好手はあります。全部の手を一律に褒める（あるいは叱る）指導では、どの手が効いたのかが伝わりません。

Web検索エージェントの訓練は、まさにこの状況にあります。OpenAIのDeep ResearchやTongyi DeepResearchのような長距離（long-horizon）検索エージェントは、検索→ページ閲覧→仮説修正→再検索…と多数の手（ステップ）を重ねて答えに到達します（§1）。ところが従来の訓練 — 教師ありファインチューニング（SFT）も強化学習（RL）も — は、軌跡内の全ステップを一律に扱ってきました。成功した軌跡には誤ったステップや冗長なステップが混ざり、失敗した軌跡にも決定的な証拠を掘り当てたステップがあるのに、です（§1）。

今回の論文（arXiv:2608.05102、上海交通大学のグループ）は、このクレジット割り当て（credit assignment）問題 — 「最終結果の手柄・責任を各ステップにどう配分するか」 — に対して、シンプルで強力な答えを出しました。答えが分かっているなら、そこから道を逆にたどればいい、という発想です。

定式化: 疎な報酬という壁

まず問題を式で押さえます。訓練データは質問 $q$ と検証済みの正解 $a^{*}$ のペアです。エージェントは $T$ ターンのやりとりで軌跡を作ります（§3.1）。

$\tau$（タウ）が軌跡全体、$s_t$ は $t$ 番目のステップ（そのターンの推論・ツール呼び出し・環境からの応答のセット）、$a$ が最後に提出した答えです。つまりこの式は「1手目、2手目、…、$T$手目と指していって、最後に答えを一つ出した」という記録そのもので、軌跡とは「手の列＋最終回答」にすぎません。

従来の報酬は、最後の答え合わせだけです。

軌跡全体に対して、正解なら1点、不正解なら0点。それだけです。つまりこの式は「最後に出した答えが合っていたか」だけを見て、その一言を100手ぶんの探索すべてにまとめて言い渡している、ということです。この疎（スパース）で粗い信号は2つの失敗を生みます（§3.1）。①失敗軌跡の中の有益なステップ（正しい証拠の発見や候補の絞り込み）に、正のシグナルが一切届かない。②成功軌跡の中の誤った結論や証拠を捨てたステップが、良いステップと区別されずに強化される。

核心アイデア: 答えから道を逆にたどる

論文の出発点は、検索タスクの特殊な性質です。正解が手元にあるなら、タスクは自然に「逆走可能」になる（§1）。犯人が判明した後の再捜査を想像してください。答えから遡れば「どの聞き込みが決め手だったか」「どの証言を追うべきだったか」が特定できます。

提案手法 ABC（Answer-Backtracked Credit Assignment） は2段階です（§3）。

1. Answer-Backtracked Clue Recovery（手がかりの復元）: 正解から遡って、解くために発見すべきだった中間的な手がかり（エンティティ・事実・関係）の集合を復元する
2. Clue-Anchored Step Scoring（手がかりを基準にした採点）: 復元した手がかりに照らして全ステップを採点し、疎な0/1報酬を密なステップ単位の報酬に変換する

手がかりの復元はどう動くか

各訓練問題 $(q, a^{*})$ から、手がかり集合 $\mathcal{C} = \{c_1, \ldots, c_K\}$ を作ります。各 $c_k$ は「質問と正解をつなぐ、検証可能な中間証拠」 — 特定のエンティティ、事実、属性、関係です（§3.2）。

重要なのは、この復元が机上の生成ではないことです。復元役のLLMは、前向きに探索するエージェントと同じツール（Web検索・ページ閲覧）を使うReActループとして動き、答えから質問へ向かって証拠を実際のWebページで裏取りしながら遡ります。検証を生き残った手がかりだけが採点基準になります（§3.2）。

論文の実例（§3.2, 図3）: 4つの制約からなる質問と正解「CeraVe」から、復元モデルは6個の手がかりを出します — 臨床的裏付けのある成分としての「セラミド」、買収した企業「ロレアル」、その創業者で1904年卒の「ウジェーヌ・シュエレール」など。これらが質問の制約と答えをつなぐ、検証済みの証拠チェーンになります。

各ステップの採点ルール

手がかり集合 $\mathcal{C}$ ができたら、収集した軌跡（成功も失敗も両方残す）の全ステップを採点します。採点役のLLMは「そのステップの推論・ツール呼び出し・応答」「元の質問」「手がかり集合」を受け取り、点数と根拠を返します（§3.3）。ルーブリックは驚くほど簡潔です（§3.3, 表1）。