論文解説: JEV-as-a-Judge — 自信があれば採用、迷ったら上位の審査員へ
判定と確率だけを返す安価な審査AI（JEV）を一次審査に置き、自信の低い判定だけ強いLLMに回す。その2段構えが効く範囲と効かない範囲を、費用とともに実測した論文の解説。
要点
- JEVは判定とラベルごとの確率だけを返すホスト型審査員で、理由文は生成せず、収集時の料金は入力100万トークンあたり0.042ドルです。
- 自信の指標は q = max_k p_k で、いちばん推すラベルにどれだけ確率を積んだかを表し、2択なら0.5から1の間を動きます。
- 通常の好み比較と根拠つき事実性判定では、最強の比較相手との差が3ポイント以内で、費用は0.36%でした。
- 導出の検証や手の込んだ文章の誤答を見抜く判定では差が大きく、その差は自信の低い判定に集中していました。
- 自信のある判定だけ採用して残りを上位に回す凍結済みカスケードは、比較相手の精度の99%をより低い費用で保ちました。
JEV-as-a-Judge: Accept When Confident, Escalate When Unsure
一次資料 — この記事の根拠
論文の発表 2026-09-22→この解説の公開 2026-09-28同月
JEV-as-a-Judge: Accept When ConfidentYubo Li, Yidi Miao, Ramayya Krishnan ほか · 2026-09-22 · v1"arXiv:2609.26550論文ページ·PDFhttps://arxiv.org/abs/2609.26550"Escalate When Unsure
原文の要旨（Abstract）を読む
LLM-as-a-judge enables evaluation across diverse tasks, but inference cost and confidence reliability become critical at scale. We study whether a decision-only judge can provide an economical first pass and identify when stronger evaluation is needed. Comparing jev-as-a-judge with sixteen generative and reward-model judges, with blinded human adjudication, we find it within three percentage points of a state-of-the-art LLM judge, our strongest comparator, on ordinary preference and evidence-grounded factuality at 0.36% of the comparator's fee. Larger gaps arise when judgments require checking a derivation or resisting an elaborately written wrong answer. On several benchmarks, JEV's gap to this comparator is concentrated in low-confidence decisions. A frozen cascade that accepts confident verdicts and escalates uncertain ones retains 99% of the comparator's accuracy at lower cost.
この論文は何を調べたか
原題は "JEV-as-a-Judge: Accept When Confident, Escalate When Unsure"（arXiv:2609.26550、カーネギーメロン大学の Yubo Li ほか、2026年9月22日公開）です。
アブストラクトの要旨: LLMに採点させる LLM-as-a-judge は規模が大きくなると、推論コストと「自信の値が信用できるか」が問題になる。著者らは、判定だけを返す審査員が安価な一次審査になれるか、強い評価が必要な場面を見分けられるかを調べた。16の生成型・報酬モデル型の審査員と比べ、人間の盲検裁定も加えた結果、通常の好み比較と根拠つき事実性判定では最強の比較相手との差が3ポイント以内、費用は0.36%だった。導出の検証や、手の込んだ文章の誤答を見抜く判定では差が大きい。差は自信の低い判定に集中しており、自信のある判定だけ採用して残りを上位に回す凍結済みカスケードは、比較相手の精度の99%をより低い費用で保った。
審査員としてのLLMの基本はLLM-as-a-Judge を1からにあります。本記事はそれを安く、危ないところだけ高く使う運用の話です。
比喩: 受付の看護師と専門医
全員を専門医が診れば確実ですが高くつきます。そこで看護師が先に見て、明らかな風邪は通し、迷った人だけ専門医に回します。これが成り立つ条件は、看護師が迷うケースと間違えるケースが重なっていることです。自信満々の誤診は専門医に届きません。論文はこの条件を実測しました。看護師役が JEV、専門医役が GPT-6 Astra などの強いLLMです。
直感: 自信は誤りの在りかを示すか
問いは2つです。①安い審査員の判定はどれだけ正しいか。②その自信の値は、自分の誤りがどこにあるかを示すか。論文は、LLMの自己申告の自信は過大になりがちで、較正はモデルとタスクごとに実測するしかないという立場です（§1）。②がだめなら、何を上位に回すかを決められません。
仕組み: 判定と確率だけを返す審査員
JEV は TypeSafe AI 社のホスト型サービスで、指示と構造化入力を受け取り、ラベルごとの確率つきで判定を返します。理由文は生成しません（§4）。論文によれば収集時の JEV 1.13.0 は入力100万トークンあたり0.042ドル、出力は無料です。実装は非公開なので、比較は構成まるごとどうしです。自信の指標には次を使います。
はラベル （「Aが良い」など）に付けた確率です。つまり はいちばん推すラベルにどれだけ確率を積んだかで、2択なら0.5（迷い）から1（断言）の間を動きます。論文は、JEV独自の confidence 値とこの の順位相関が 0.948〜0.999 と高いことを確かめています。
確率の尖り具合は温度という1つの数でも大きく変わります。温度を動かして1位の棒（＝）を見てください。
コメント
コメントにはログインが必要です