#llm-as-a-judge

5 記事

01 ·学習手法・アライメント·★ 会員·論文·10分で読めます 論文解説: 言い回しで点が変わるAI査読者をどう測り、どう直すか — RobustReview と SciCore A Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review 同じ科学を別の言い回しで書くとAI査読者の点が変わる問題を「修辞的頑健性」として定式化した論文の解説。安定性だけを見ると騙される『偽の頑健性』と、原稿の評価と“科学の芯”の評価を平均する SciCore を、指標の式とコードで1から読み解きます。 02 ·推論・高速化·★ 会員·論文·7分で読めます 論文解説: JEV-as-a-Judge — 自信があれば採用、迷ったら上位の審査員へ JEV-as-a-Judge: Accept When Confident, Escalate When Unsure 判定と確率だけを返す安価な審査AI（JEV）を一次審査に置き、自信の低い判定だけ強いLLMに回す。その2段構えが効く範囲と効かない範囲を、費用とともに実測した論文の解説。 03 ·評価と審判·無料·論文·12分で読めます LLM-as-a-Judge を1から — AIがAIを採点する仕組みと限界 Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena モデルの出力をモデルに採点させる「LLM-as-a-Judge」を、前提知識ゼロから解説。判定を確率分布として読む方法、位置バイアス・冗長性バイアス・自己選好という三つの偏り、比較回数が2乗で増える構造、そして審査員自身を人手と突き合わせて検証する手順までを扱います。 04 ·RAG・検索拡張·★ 会員·論文·16分で読めます RAG評価の実務 — 「なんとなく良い」を数字にする RAGAS: Automated Evaluation of Retrieval Augmented Generation RAGの改善が迷子になるのは、良し悪しを一つの感覚で見ているからだ。検索と生成を切り離して測る指標、忠実性と関連性の定義、合成QAで評価セットを作る手順とその落とし穴、そして何問あれば数字を信じてよいのかまでを1から積み上げる。 05 ·LLM — 大規模言語モデル·無料·論文·13分で読めます LLM評価を1から — ベンチマークの読み方と汚染問題 Measuring Massive Multitask Language Understanding モデル発表資料に並ぶベンチマークの棒グラフを、正しく疑いながら読むための記事。採点方式がMMLUのスコアを動かす仕組み、問題数から来る誤差の幅、公開ベンチマークが構造的に汚染される理由、Chatbot ArenaのBradley-Terryモデルとその弱点、LLM-as-a-judgeの三つの偏りまでを1から扱う。