2026-08-22·★ 会員·論文·18分で読めます

論文解説: Co-RL — 正解ラベルなしでも、群れの多様性から推論が立ち上がる

自分の答えを自分で採点し続けるとモデルは崩壊する。Co-RLは「隣のエージェントの多数決」を報酬にしてその輪を断ち切り、正解ラベルを一切使わずに教師あり学習に並ぶ。仕組み・力学の証明・実験値・落とし穴まで論文本文から解説する。

#agents #reinforcement-learning #multi-agent #label-free #grpo #vlm

Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL

一次資料 — この記事の根拠

論文の発表 2026-08-18→この解説の公開 2026-08-22同月

Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RLYunhao Yang, Yuexin Bian, Yunjie Tian ほか · 2026-08-18 · v2arXiv:2608.17253論文ページ·PDF

原文の要旨（Abstract）を読む

Reinforcement learning (RL) has emerged as a powerful approach for improving reasoning in language and vision-language models, yet its strongest successes still depend heavily on ground-truth supervision (e.g., verifiable reward). Such annotations are costly to obtain and become increasingly scarce as reasoning capabilities advance beyond what humans can reliably evaluate. Self-rewarding RL reduces this dependence by enabling models to derive reward signals from their own completions. However, training solely on self-generated feedback can reinforce existing biases and suboptimal behaviors, reduce response diversity, and ultimately lead to homogenized responses and training collapse. In this work, we show that unsupervised reasoning can emerge through cooperative multi-agent training. We introduce Co-RL, a framework in which multiple decoupled models, sharing no parameters, are simultaneously optimized through RL using rewards derived from their peers. We further show that increasing cohort diversity, through heterogeneous model families, sizes, and rephrased training samples, reduces the correlated errors that drive self-reinforcing feedback loops. This diversity consistently improves reasoning performance, maintains behavioral diversity, and mitigates training collapse. Across text-only and multimodal domains, Co-RL consistently outperforms the base models and prior label-free approaches, while matching or surpassing supervised methods, without access to any ground-truth labels. Concretely, Co-RL yields average gains of 3.0-8.6% across seven text-only benchmarks for LLMs and 2.3-7.2% across four multimodal benchmarks for VLMs. Code is available at https://github.com/DrStranded/Co-RL.

自分で採点した答案は、なぜ伸びないのか

自分で解いた問題を、自分で採点する。答え合わせの相手も自分。これを何百回も繰り返したらどうなるでしょうか。

たぶん点数は上がります。ただし上がるのは「最初から得意だったやり方」の点数だけです。勘違いしていた分野は勘違いのまま補強され、自分が持っていない視点は何回まわしても出てきません。

いま「ラベルなしでLLMを強化学習する」主流の手法は、まさにこの構造をしています。この論文の Co-RL は、そこに一手だけ変更を加えます。答え合わせの相手を、自分ではなく、別の学校で育った同級生にする。それだけで正解ラベルを一枚も使わずに、正解ラベルを使った学習に並ぶ——というのが本題です。

ラベルのほうが先に尽きる

いま推論能力を伸ばす主流は RLVR（検証可能な報酬による強化学習）です。数学なら最終解が合っているか、コードならテストが通るか。機械的に○×が付くので、それをそのまま報酬にして方策を更新します。

問題は、その○×がタダではないこと。論文は冒頭で二つ挙げます（§1）。ひとつは単純にコストが高いこと。もうひとつがより本質的で、モデルの推論能力が人間の確実な評価能力を追い越すにつれ、正解ラベルそのものが希少になっていくこと。人間が採点できない問題には、正解ラベルを付けようがありません。

そこで生まれたのが自己報酬RLです。外部の答えを使わず、モデル自身の出力から報酬を作ります。

自己報酬RLは何をしているか

代表格の TTRL はこうします（§3.2）。ラベルのない問題 $x$ に対し、方策 $\pi_\theta$ が $K$ 本の応答を生成する。各応答から最終解 $a^k$ を抜き出し、その $K$ 本の多数決を疑似正解 $\hat a_\theta(x)$ とする。そして多数決と一致した応答に報酬1、外れた応答に報酬0を与える。

$r_{\mathrm{maj}}^{k}=\mathbf{1}\left[a^{k}=\hat{a}_{\theta}(x)\right]$

$\mathbf{1}[\cdot]$ は中身が真なら1、偽なら0を返す記号です。つまり「みんな（＝自分が出した12本の答案）がそう言っているんだから、そう答えたやつが偉い」という報酬です。Intuitor はトークンごとの自信の強さを、RENT は予測分布のエントロピーの低さを報酬にしますが、信号がすべて同じ一つのモデルの中から出ている点は共通です（§3.2）。

外部の参照点がないので、更新はいま優勢な答えを押し上げる方向にしか働きません。論文の言葉では、バイアスと悪い癖を増幅し、応答の多様性を削り、最後は出力が均質化して訓練が崩壊する（§1）。

FIG 1温度を下げると分布が一点に尖る。自己報酬RLの崩壊は、この「尖り」が学習中に勝手に進んでしまう現象だと思うとよい

Co-RL: 報酬を隣から借りる

Co-RL の変更は一箇所です。疑似正解を、自分のロールアウトではなく別のエージェントのロールアウトから作る（§4.1）。

$N$ 体のエージェント $\{\pi_{\theta_n}\}_{n=1}^N$ を用意します。パラメータも勾配も共有しません。各エージェントは同じ問題 $x$ に $K$ 本の応答を独立に生成し、エージェント $n$ に与える疑似正解を次のように作ります。

\hat{a}_{-n}(x)\in\arg\max_{b}\sum_{j=1}^{K}\mathbf{1}\left[a_{n-1}^{j}=b\right]

(1)

添字 $n-1$ が肝です。エージェント $n$ の教師は、一つ隣のエージェント $n-1$ の多数決であって自分の多数決ではありません。添字は巡回的で、エージェント1はエージェント $N$ に教わります（有向リング）。報酬は式(1)との一致で決まります。

$r_{n}^{k}=\mathbf{1}\left[a_{n}^{k}=\hat{a}_{-n}(x)\right]$

どのエージェントも、自分の教師信号の作成に一切関与しない——ここが自己報酬との決定的な違いです。あとは各エージェントが自分のロールアウト群の中で報酬を正規化し、GRPO で自分の方策だけを更新します（全体の目的関数は各エージェントの GRPO 目的の平均、論文の式4）。

# 1ステップの中身（擬似コード）
for x in batch:                                  # ラベルなしプロンプト
    outs = [agent.rollout(x, K) for agent in agents]   # 各K本
    ans  = [[extract(y) for y in o] for o in outs]     # 最終解を抽出
    pseudo = [majority(ans[n - 1]) for n in range(N)]  # 隣の多数決
    rew    = [[int(a == pseudo[n]) for a in ans[n]]    # 一致で1
              for n in range(N)]
for n in range(N):                               # 更新は独立
    agents[n].grpo_step(outs[n], rew[n])

全ロールアウトと疑似正解は、どの方策も更新される前に計算されます（§4.1）。エージェント間の通信も報酬の段階だけで、外部のLLM審判も学習済み報酬モデルも要りません（§1）。

効くかどうかは「間違え方が違うか」で決まる

隣に教わっても、隣が自分とそっくりなら意味がありません。同じ問題で同じように間違えるからです。だから論文はコホートの多様性を三方向に押し広げます（§4.2）。

1. 最適化の分離。 二つの方策を独立に持ち、勾配を流さない。更新が直接結合しないぶん、予測の相関が上がりにくくなります。

2. モデルファミリーとサイズ。 これが主軸です。Qwen2.5 と Llama 3 はトークナイザも語彙サイズもアーキテクチャも事前学習コーパスも違い、Gemma は256Kトークン語彙と局所-大域を交互に使う注意機構を持ちます。VLM ではさらに顕著で、Qwen2.5-VL は動的解像度ViT、InternVL は InternViT、Gemma 3 は SigLIP と、視覚エンコーダからして別物です。

3. 入力の言い換え。 モデルを分けても、両者は同じプロンプト文字列を読んでいます。そこで MATH の各問題を DeepSeek-V3 で書き換え、一方には原文、他方には書き換え版を与える。書き換えは単語置換ではなく、答えを変えないまま別の具体的な場面に置き直すもので、問題文はおおむね倍の長さになります（Appendix C）。

論文解説: Co-RL — 正解ラベルなしでも、群れの多様性から推論が立ち上がる

自分で採点した答案は、なぜ伸びないのか

ラベルのほうが先に尽きる

自己報酬RLは何をしているか

Co-RL: 報酬を隣から借りる

効くかどうかは「間違え方が違うか」で決まる

ここから先は会員限定です

参考文献

コメント