マルチエージェント設計パターン — 分担・討論・検証

エージェントを何体並べても、全員が同じ間違い方をするなら1体と変わりません。多数決が効く条件を式で押さえたうえで、分担・討論・敵対的検証の3つの型を、いつ使い、いつ1体で済ませるべきかまで整理します。

Improving Factuality and Reasoning in Language Models through Multiagent Debate

会議を増やせば賢くなるのか

「三人寄れば文殊の知恵」には隠れた前提があります。3人が違う考え方をしていることです。同じ教科書で同じ研修を受けた3人なら、同じところで同じ勘違いをします。そこで多数決を取れば、間違いが3倍の自信を持って確定するだけです。

LLMエージェントを複数並べる設計は、この諺の工学版です。1体のエージェント（LLMエージェントを1から解説で扱った、考える→道具を使う→結果を見る、のループ）を複数走らせ、役割を分け、答えを突き合わせる。うまくいけば1体では届かない品質に届き、うまくいかなければ料金だけが体数の分だけ増えます。

この記事は「どんなときに増やすと得か」を先に決めてから型を見ます。順番が逆だと、流行りの構成をコピーして、遅くて高くて精度が同じシステムができあがるからです。

増やして得をする条件を、数で押さえる

いちばん素朴な形から始めます。同じ問題を $n$ 体に解かせ、多数決を取る。各体が確率 $p$ で正解し、互いに独立に間違えるとします。

つまりこれは、少し表の出やすいコインを $n$ 枚投げて、表が過半数を占める確率を数えているのと同じ形です。$p$ が1枚あたりの表の出やすさ（＝エージェント1体の正解率）、$n$ が投げる枚数（＝体数）にあたります。

式(1)が言っているのは「$n$ 体のうち過半数が正解する確率」だけです。$\binom{n}{k}$ は「$n$ 体から $k$ 体を選ぶ組み合わせの数」、$p^k(1-p)^{n-k}$ は「その $k$ 体が当たり、残りが外れる確率」。大事なのは向きです。$p > 0.5$ なら $n$ を増やすほど1に近づき、$p < 0.5$ なら逆に0へ落ちます。もともと半分も当たらないタスクでは、体数を増やすほど確実に間違えます。

そしてこの式は「独立に間違える」という一行の仮定に全部を賭けています。誤差同士の相関を $\rho$ とすると、$n$ 体の平均のばらつきはこうなります。

つまりこれは、体数を増やして薄められるのは「各体がばらばらにやらかす分」だけで、「全員が揃って同じ方向にやらかす分」は何体並べても残る、ということです。右側の矢印は「体数を無限に増やしたときの行き先」を表しています。

$e_i$ は各体の誤差、$\sigma^2$ はその大きさ、$\rho$ は「2体が同じ方向に間違える度合い」です。式(2)が伝えるのは1点だけ。体数をいくら増やしても、ばらつきは $\sigma^2\rho$ より下には行きません。 $\rho=1$、つまり全員が完全に同じ間違い方をするなら $1/n$ の項は消え、100体並べても1体と同じです。

ここがマルチエージェント設計の急所です。同じモデルに、同じプロンプトで、同じ温度で解かせた出力は $\rho$ が1に近く、多数決も討論もほとんど効きません。効かせたければわざと違わせる必要があります。温度を上げる、プロンプトの切り口を変える（先に反例を探させる／先に結論を書かせる）、渡す資料を変える、モデル自体を変える。複数の推論経路を引いて多数決を取る自己整合性（self-consistency, Wang et al., 2022）以来、サンプリングの多様性は繰り返し使われてきた資源です。

パターン1: 分担 — 文脈を切って並べる

役割分担は、精度のためというより文脈と注意のための型です。1本のプロンプトに「仕様を読む」「実装する」「テストを書く」「レビューする」を全部詰めると、後半の指示ほど守られにくくなり、履歴も膨らみます。これを別々のエージェントに割り、各自には自分の仕事に必要な資料だけを渡します。

型は2つに分かれます。パイプライン型は調査→設計→実装→検証のように前の出力が次の入力になる直列型で、どこで壊れたか追いやすい代わりに上流のエラーが下流へそのまま流れます。ファンアウト型は独立な小仕事（10個のファイルを各々移行する、5つの観点でレビューする）を同時に配る並列型で、所要時間が最も遅い1体で決まります。