論文解説: PaperGym — 論文1本を「採点基準つきの練習場」に変えて研究計画を学習させる

研究計画には正解がないので強化学習の「環境」が作れない。論文を4つの引き出しに分解し、問いと採点基準を別々の引き出しから作ることで、言い換えでは点が取れない練習場を20,000本ぶん自動生成した研究を、前提知識ゼロから解説する。

PaperGym: Rubric-Centered Evolution for Research-Plan Generation

「正解のない宿題」をどう採点するか

数学なら答え合わせができ、プログラムならテストを通せば済みます。答えを自動で確かめられるという一点を足がかりに、数学とコードでは強化学習が大きく伸びました。

ところが「このテーマにどんな手法を提案し、どんな実験で検証するか」という研究計画には、突き合わせる正解がありません。良し悪しの判断には専門家のレビューが要りますが、専門家は学習に必要な回数だけ採点してはくれません。ここで強化学習は足場を失います。

今回読むのは、その足場を人工的に作った論文です。原題は "PaperGym: Rubric-Centered Evolution for Research-Plan Generation"（Yuhan Wang ほか、2026年8月31日、arXiv:2608.31119）。

論文の主張はこうです。研究計画づくりはAIサイエンティストの決定的な能力だが、検証可能な答えがないため、強化学習が要求する環境（課題と採点者のセット）が存在しない。論文から抽出したルーブリック（採点基準表）が採点者になりうるが、既存のやり方は問いと基準を論文の同じ箇所から作るため、問いを言い換えるだけで報酬が稼げてしまう。しかも基準表は生成1本につきスカラー1個に潰される。そこでPaperGymは、問いを「研究目標と背景」から、基準を「手法と実験」から作ることで論文1本をまるごと学習環境に変える。基準の漏れは既存の11.90〜34.10%に対し3.7%まで下がる。学習ではこの基準表を2回使う——まずOPSDの自己教師への特権情報として、次にGRPOの報酬として。Qwen3の1.7B/4B/8Bで、この順序は教師ありファインチューニング・片方の段階だけ・逆順のいずれにも勝ち、5ベンチマーク平均をそれぞれ+5.6、+5.0、+4.8ポイント改善した。

比喩: 模範解答ではなく採点表を渡す

レポート課題で生徒を鍛える方法は2つあります。模範解答を1本配る（＝教師ありファインチューニング）と、採点表を配る（＝ルーブリック）です。レポートには何通りもの正解があるので、1本だけ真似させると答案が全部同じ形に潰れます。採点表なら「先行研究との差分が明示されているか」といった条件だけを伝え、書き方は縛りません。

PaperGymは後者を選びます。ただし採点表には落とし穴がある。問題文と採点表を同じ文章から作ると、採点表が問題文の言い換えになるのです。「Xを効率化する手法を提案せよ」に対して基準が「Xの効率化に触れているか」なら、オウム返しで満点が取れます。

何が壊れていたか — 「基準の漏れ」を測る

論文はこれを criterion leakage（基準の漏れ） と呼び、実際に測っています（§4.3.2）。審査役のLLM（DeepSeek-V4-Flash）に研究課題と採点基準を一緒に見せ、「この基準は問題文だけから推測できるか」を基準ごとに二値で答えさせ、推測できる割合を漏れ率とします（§A.2）。

既存データセットの結果は HealthBench 11.90%、RubricHub Science 17.39%、ResearchQA 19.22%、ResearchPlanGen-ML 31.29%、ResearchPlanGen-ArXiv 34.10%（表3）。3割超えということは、採点基準の3つに1つが問題文の焼き直しだったということです。

もう1つの問題は情報の捨て方です。基準1つごとに審査役を呼べば10項目で10個の判定が出るのに、方策に届くのはそれを平均した数値1個だけ。細かいフィードバックが生成1本あたり1つの数字に圧縮されて消えます（§1）。

論文の解: 論文を4つの引き出しに分ける

中核は拍子抜けするほど単純です。arXiv論文のLaTeXソースを読み、内容を4つの引き出し——Research Goal（研究目標）、Background（背景）、Research Method（提案手法）、Experimental Design（実験設計・具体的な数値結果は除く）——に仕分けます（§3.1.1）。仕分けはmap-reduceで、mapでセクション単位に抽出し、reduceで同じ引き出しどうしをまとめて重複を落とす。抽出プロンプトは「原文にそのまま現れる表現だけを抜く」「根拠がない項目は空文字を返す」を強制しており、要約に創作が混ざるのを防いでいます（§D.1）。

そして決定的な制約が入ります。問いは Goal + Background だけから、参照解答は Method + Experimental Design だけから作る。 両者が論文の交わらない部分から来るので、答えを見なければ書けないことは問いに載りません。これだけで漏れ率は PaperGym-20kで3.73%、Innovで4.71%、Designで4.97% まで落ちました。既存比で3〜9分の1です。

ルーブリックは2種類ある

採点表は2階建てです（§3.1.2）。専門ルーブリック $\mathcal{R}_{\text{spec}}$ はその課題だけに効く基準で、問いだけから作る $\mathcal{R}_Q$ と、問いと参照解答の両方から作る $\mathcal{R}_A$ を統合し、意味が重なるものを削って重要度上位10項目を残します（$m=n=10$、判定はすべて二値）。$\mathcal{R}_A$ は問いから読み取れない内容を持ち込む役、$\mathcal{R}_Q$ は課題との関連を保つ役です。