学生版 社会人版
JA EN
体系 › AI

評価と審判

AIをどう測るか。ベンチマーク・LLM審判・汚染・報酬ハッキングまで

01 ·評価と審判·無料·論文·12分で読めます LLM-as-a-Judge を1から — AIがAIを採点する仕組みと限界 Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena モデルの出力をモデルに採点させる「LLM-as-a-Judge」を、前提知識ゼロから解説。判定を確率分布として読む方法、位置バイアス・冗長性バイアス・自己選好という三つの偏り、比較回数が2乗で増える構造、そして審査員自身を人手と突き合わせて検証する手順までを扱います。 02 ·評価と審判·無料·論文·15分で読めます エージェント評価ベンチ地図 — SWE-bench・GAIA・OSWorldは何を測るか SWE-bench: Can Language Models Resolve Real-World GitHub Issues? エージェント評価の代表3本（SWE-bench・GAIA・OSWorld）が実際に何を測っているかを、採点方式の違いから解きほぐす。汚染とリークの4類型、そして発表されたスコアを自分の用途向けに読み替える手順まで。 03 ·評価と審判·★ 会員·論文·16分で読めます 自己改善するAI — 共進化・自己対戦・カリキュラム生成の系譜 Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm 外から教師データを足さずにモデルが強くなる、という現象がどういう条件で成立するのかを1から分解する。AlphaZeroの自己対戦が成立した三つの条件を取り出し、それが言語モデルでどこから壊れるか、共進化とカリキュラム生成がその穴をどう埋めようとしているか、そして自己改善の主張をどう評価すべきかまでを扱う。 04 ·評価と審判·★ 会員·論文·12分で読めます 報酬ハッキング — 測り方を決めると、そこが壊れる Concrete Problems in AI Safety 指標を決めた瞬間から、その指標は壊れ始める。Goodhartの法則がなぜ統計的に避けられないのかを代理報酬のずれから説明し、ボートレースの周回からRLHFの冗長化・おべっか・テストのハードコードまで実例で追い、最適化圧と真の性能の乖離を検出する方法とKL正則化などの現実的な対策を扱う。 05 ·評価と審判·★ 会員·論文·12分で読めます ベンチマーク汚染 — 「高スコア」を疑う技術 Rethinking Benchmark and Contamination for Language Models with Rephrased Samples ベンチマークの高スコアが実力なのか暗記なのかを見分けるための記事。汚染の3つの型、n-gram重なり・埋め込み近傍・メンバーシップ推論という検出手段とその限界、カナリア文字列と時系列分割の仕組みを1から解説し、論文を読むときの警戒点をチェックリストにまとめる。