学生版 社会人版
JA EN

#evaluation

48 記事

01 ·音声系·★ 会員·論文·12分で読めます 論文解説: Last Translation Benchmark — 「モデルが壊れる例」と検証ルールで翻訳を測り直す Last Translation Benchmark 機械翻訳のベンチマークは飽和し、自動指標も人手評価も信用しきれない。その袋小路に対し『先端モデルが壊れる例』を人手で集め、例ごとに手書きの検証ルールを添える——原題 Last Translation Benchmark を前提知識ゼロから読み解く。 02 ·エージェント·★ 会員·論文·12分で読めます 論文解説: CogEvol — 報酬が測れないものを、強化学習は静かに壊す CogEvol: Towards Efficient and Reliable Learning Environment Generation 教材をワンパスで生成するモデル群 CogEvol の技術報告。中心にあるのは「スクリーンショットだけを見る報酬でRLを回すと、見た目は立派で遊べないゲームが量産される」という実際に起きた事故と、その修正の記録。 03 ·エージェント·★ 会員·論文·16分で読めます 論文解説: EarlyEval — エージェント評価を「途中で打ち切って」安くする EarlyEval: Cheaper Agent Evaluation via Early Outcome Prediction エージェントの評価は1回数百ドルかかる。EarlyEvalは「結末は途中の振る舞いから読める」という発見を使い、実行を途中で止めて費用を13〜26%削る。仕組み・実験値・限界を論文本文から解説。 04 ·エージェント·★ 会員·論文·20分で読めます 論文解説: Aspire — モデルは「曖昧な目標」から自己進化できるか Aspire: Can Models Self-Evolve from Vague Goals? 「もっと数学が得意になれ」だけを渡されたエージェントは、自分で学ぶ内容と検証方法を決めて本当に強くなれるのか。隠された520問で測るベンチマーク Aspire を前提知識ゼロから解説し、学習ループは回るのに能力が伸びないという結果を数字で追う。 05 ·学習手法・アライメント·★ 会員·論文·18分で読めます 論文解説: StudentSim — 「その生徒そのもの」を訓練で作る学習者シミュレータ StudentSim: Training LLM-based Student Simulators AI家庭教師を鍛えるための『練習台になる生徒』を、実際の学習記録から訓練して作る枠組み。行動忠実度(F)と指導反応性(R)という2軸の定義から、プール学習→生徒別特化の2段パイプライン、報酬モデルとしての応用までを1から解説する。 06 ·エージェント·★ 会員·論文·21分で読めます 論文解説: StarHarness — モデルを凍結したまま「ハーネス」を進化させる StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments モデルの重みを一切変えず、エージェントを取り巻く「ハーネス」（プロンプト・ツール定義・スキル・MCP・サブエージェント・実行ループ）だけを探索で書き換える。企業向け3ベンチマークで20〜35ポイント改善し、進化に使わなかったタスクにも、別のモデルにも効いた。 07 ·評価と審判·★ 会員·論文·16分で読めます 自己改善するAI — 共進化・自己対戦・カリキュラム生成の系譜 Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm 外から教師データを足さずにモデルが強くなる、という現象がどういう条件で成立するのかを1から分解する。AlphaZeroの自己対戦が成立した三つの条件を取り出し、それが言語モデルでどこから壊れるか、共進化とカリキュラム生成がその穴をどう埋めようとしているか、そして自己改善の主張をどう評価すべきかまでを扱う。 08 ·評価と審判·★ 会員·論文·12分で読めます 報酬ハッキング — 測り方を決めると、そこが壊れる Concrete Problems in AI Safety 指標を決めた瞬間から、その指標は壊れ始める。Goodhartの法則がなぜ統計的に避けられないのかを代理報酬のずれから説明し、ボートレースの周回からRLHFの冗長化・おべっか・テストのハードコードまで実例で追い、最適化圧と真の性能の乖離を検出する方法とKL正則化などの現実的な対策を扱う。 09 ·LLM — 大規模言語モデル·★ 会員·論文·15分で読めます 論文解説: Puro-2B — コンシューマGPUで2Bモデルを$6.9Kからゼロ事前学習する Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090 ゲーミング向けGPUのRTX 5090で1.4兆トークンの事前学習を回し、Qwen2-1.5B級の性能に約$4.4Kで届いたという報告を、コスト構造・FP8・実効学習率・カリキュラム平均の順に1から解説する。 10 ·エージェント·★ 会員·論文·17分で読めます 論文解説: LoopArena — コーディングエージェントを「操縦する側」を測る LoopArena: Benchmarking Models as Runtime Controllers for Loop Engineering コーディングエージェントに指示を出し続ける『外側のループ』の良し悪しを、エージェント本体を固定したまま測るベンチマーク LoopArena を、前提知識ゼロから解説する。最良でも完全タスク成功率24.69%という結果の読み方まで。 11 ·評価と審判·無料·論文·12分で読めます LLM-as-a-Judge を1から — AIがAIを採点する仕組みと限界 Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena モデルの出力をモデルに採点させる「LLM-as-a-Judge」を、前提知識ゼロから解説。判定を確率分布として読む方法、位置バイアス・冗長性バイアス・自己選好という三つの偏り、比較回数が2乗で増える構造、そして審査員自身を人手と突き合わせて検証する手順までを扱います。 12 ·評価と審判·無料·論文·12分で読めます LLM-as-a-Judge を1から — AIがAIを採点する仕組みと限界 Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena モデルの出力をモデルに採点させる「LLM-as-a-Judge」を、前提知識ゼロから解説。判定を確率分布として読む方法、位置バイアス・冗長性バイアス・自己選好という三つの偏り、比較回数が2乗で増える構造、そして審査員自身を人手と突き合わせて検証する手順までを扱います。 13 ·評価と審判·★ 会員·論文·12分で読めます ベンチマーク汚染 — 「高スコア」を疑う技術 Rethinking Benchmark and Contamination for Language Models with Rephrased Samples ベンチマークの高スコアが実力なのか暗記なのかを見分けるための記事。汚染の3つの型、n-gram重なり・埋め込み近傍・メンバーシップ推論という検出手段とその限界、カナリア文字列と時系列分割の仕組みを1から解説し、論文を読むときの警戒点をチェックリストにまとめる。 14 ·評価と審判·★ 会員·論文·12分で読めます ベンチマーク汚染 — 「高スコア」を疑う技術 Rethinking Benchmark and Contamination for Language Models with Rephrased Samples ベンチマークの高スコアが実力なのか暗記なのかを見分けるための記事。汚染の3つの型、n-gram重なり・埋め込み近傍・メンバーシップ推論という検出手段とその限界、カナリア文字列と時系列分割の仕組みを1から解説し、論文を読むときの警戒点をチェックリストにまとめる。 15 ·評価と審判·無料·論文·15分で読めます エージェント評価ベンチ地図 — SWE-bench・GAIA・OSWorldは何を測るか SWE-bench: Can Language Models Resolve Real-World GitHub Issues? エージェント評価の代表3本（SWE-bench・GAIA・OSWorld）が実際に何を測っているかを、採点方式の違いから解きほぐす。汚染とリークの4類型、そして発表されたスコアを自分の用途向けに読み替える手順まで。 16 ·評価と審判·無料·論文·15分で読めます エージェント評価ベンチ地図 — SWE-bench・GAIA・OSWorldは何を測るか SWE-bench: Can Language Models Resolve Real-World GitHub Issues? エージェント評価の代表3本（SWE-bench・GAIA・OSWorld）が実際に何を測っているかを、採点方式の違いから解きほぐす。汚染とリークの4類型、そして発表されたスコアを自分の用途向けに読み替える手順まで。 17 ·LLM — 大規模言語モデル·★ 会員·論文·13分で読めます 論文解説: Agentic Artifact Creation — 「生成」と「納品物を組み立てる」はどう違うのか Agentic Artifact Creation: Systems, Evaluation, Principles, and Opportunities 259件の文献を「納品される成果物」という一点から整理したサーベイ。状態・編集・検証という3つの役でエージェント的創出を定義し、6ファミリー・評価の3対象・4原則・6つの未解決問題まで、前提知識ゼロから読み解きます。 18 ·LLM — 大規模言語モデル·★ 会員·論文·13分で読めます 論文解説: Agentic Artifact Creation — 「生成」と「納品物を組み立てる」はどう違うのか Agentic Artifact Creation: Systems, Evaluation, Principles, and Opportunities 259件の文献を「納品される成果物」という一点から整理したサーベイ。状態・編集・検証という3つの役でエージェント的創出を定義し、6ファミリー・評価の3対象・4原則・6つの未解決問題まで、前提知識ゼロから読み解きます。 19 ·学習手法・アライメント·★ 会員·論文·12分で読めます 論文解説 PAWBench — 動画生成は「起こりうる未来の確率」まで当てられるのか PAWBench: How Far Are We from Probabilistically Aligned World Modeling? 動画生成モデルを世界モデルと呼ぶなら、もっともらしい1本ではなく、同じ初期状態から繰り返し生成したときの分布が正しくなければならない。PAWBench はその確率的整合を50シナリオ・11モデルで測り、どのモデルも要件を揃えられないことを示した論文です。 20 ·エージェント·★ 会員·論文·23分で読めます 論文解説: JIT-Agent — エージェントの「ハーネス」をその場で書き起こすモデル JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution エージェントの性能はモデルだけで決まらない。記憶・計画・行動・道具の4モジュールからなる「ハーネス」をタスクごとに生成する専用モデル JIT-Agent を、前提知識なしで解説する。 21 ·★ 会員·論文·11分で読めます 論文解説: VGI-Bench — 動画生成モデルは「途中経過」まで正しく描けるのか VGI-Bench: Probing Visual Intelligence in Video Generation Models 動画生成モデルを「視覚で考える機械」として測るベンチマーク VGI-Bench の設計と結果を、前提知識ゼロから解説。最強の Seedance 2.0 でも 51.0 にとどまり、デノイズ途中の自己修正はほぼ起きないという測定結果までを追う。 22 ·エージェント·★ 会員·論文·11分で読めます 論文解説: FrontierChallenge — 科学の仕事を「最後まで納品できたか」で測る FrontierChallenge: Evaluating Scientific Workflow Completion 科学ワークフローを最後まで完遂できるかを測るベンチマーク FrontierChallenge の解説。平均点87.9でも完全達成は20.6%、電気化学では平均94.9でPass Rate 0%。未達の軌跡の75.5%が「完了しました」と述べて終わっていた。 23 ·蒸留と圧縮·★ 会員·論文·12分で読めます 蒸留モデルの評価 — 「教師に近い」は良い指標か The False Promise of Imitating Proprietary LLMs 蒸留した生徒モデルを「教師との一致率」で採点すると、教師の誤りを忠実に写した生徒ほど高得点になります。一致率が数学的に何を保証して何を保証しないのか、分布の外で何が崩れるのか、合成データ経由のベンチマーク汚染をどう検査するのか — 蒸留モデルの評価設計を前提知識ゼロから組み立てます。 24 ·蒸留と圧縮·★ 会員·論文·12分で読めます 蒸留モデルの評価 — 「教師に近い」は良い指標か The False Promise of Imitating Proprietary LLMs 蒸留した生徒モデルを「教師との一致率」で採点すると、教師の誤りを忠実に写した生徒ほど高得点になります。一致率が数学的に何を保証して何を保証しないのか、分布の外で何が崩れるのか、合成データ経由のベンチマーク汚染をどう検査するのか — 蒸留モデルの評価設計を前提知識ゼロから組み立てます。 25 ·エージェント·★ 会員·論文·14分で読めます 論文解説: SWE-bench Science — コーディングエージェントは「科学のコード」を直せるか SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science? 科学ソフトウェアの修理をコーディングエージェントに解かせるベンチマーク SWE-bench Science（119タスク・98リポジトリ・20分野）の解説。最良のエージェントでも pass@1 は50%未満で、4つの失敗機構と「科学知識は必ずしも効かない」というアブレーション結果を読み解く。 26 ·RAG・検索拡張·★ 会員·論文·16分で読めます RAG評価の実務 — 「なんとなく良い」を数字にする RAGAS: Automated Evaluation of Retrieval Augmented Generation RAGの改善が迷子になるのは、良し悪しを一つの感覚で見ているからだ。検索と生成を切り離して測る指標、忠実性と関連性の定義、合成QAで評価セットを作る手順とその落とし穴、そして何問あれば数字を信じてよいのかまでを1から積み上げる。 27 ·RAG・検索拡張·★ 会員·論文·16分で読めます RAG評価の実務 — 「なんとなく良い」を数字にする RAGAS: Automated Evaluation of Retrieval Augmented Generation RAGの改善が迷子になるのは、良し悪しを一つの感覚で見ているからだ。検索と生成を切り離して測る指標、忠実性と関連性の定義、合成QAで評価セットを作る手順とその落とし穴、そして何問あれば数字を信じてよいのかまでを1から積み上げる。 28 ·エージェント·★ 会員·論文·12分で読めます マルチエージェント設計パターン — 分担・討論・検証 Improving Factuality and Reasoning in Language Models through Multiagent Debate エージェントを何体並べても、全員が同じ間違い方をするなら1体と変わりません。多数決が効く条件を式で押さえたうえで、分担・討論・敵対的検証の3つの型を、いつ使い、いつ1体で済ませるべきかまで整理します。 29 ·Transformerの仕組み·★ 会員·論文·13分で読めます 長文脈LLMの技術 — RoPE補間からリング注意まで Extending Context Window of Large Language Models via Positional Interpolation 「コンテキスト長128K」の中身は、性格の違う二つの壁を別々に越えた結果です。位置の壁を越える位置補間・NTK・YaRN、計算の壁を越える窓とリング注意、そして越えられたかを測るneedle試験の読み方を、前提知識ゼロから順に追います。 30 ·LLM — 大規模言語モデル·★ 会員·論文·13分で読めます LLM評価を1から — ベンチマークの読み方と汚染問題 Measuring Massive Multitask Language Understanding モデル発表資料に並ぶベンチマークの棒グラフを、正しく疑いながら読むための記事。採点方式がMMLUのスコアを動かす仕組み、問題数から来る誤差の幅、公開ベンチマークが構造的に汚染される理由、Chatbot ArenaのBradley-Terryモデルとその弱点、LLM-as-a-judgeの三つの偏りまでを1から扱う。 31 ·LLM — 大規模言語モデル·★ 会員·論文·13分で読めます LLM評価を1から — ベンチマークの読み方と汚染問題 Measuring Massive Multitask Language Understanding モデル発表資料に並ぶベンチマークの棒グラフを、正しく疑いながら読むための記事。採点方式がMMLUのスコアを動かす仕組み、問題数から来る誤差の幅、公開ベンチマークが構造的に汚染される理由、Chatbot ArenaのBradley-Terryモデルとその弱点、LLM-as-a-judgeの三つの偏りまでを1から扱う。 32 ·機械学習の基礎·★ 会員·14分で読めます 不均衡データの実務 — 99%が正常のとき何を最適化するか 陽性が1%しかないデータでは正解率が嘘をつく。混同行列からPR曲線、重み付け・サンプリング・確率の較正、そして期待コストから閾値を逆算するところまでを、前提知識なしで積み上げる。 33 ·機械学習の基礎·★ 会員·14分で読めます 不均衡データの実務 — 99%が正常のとき何を最適化するか 陽性が1%しかないデータでは正解率が嘘をつく。混同行列からPR曲線、重み付け・サンプリング・確率の較正、そして期待コストから閾値を逆算するところまでを、前提知識なしで積み上げる。 34 ·LLM — 大規模言語モデル·無料·論文·11分で読めます ハルシネーションはなぜ起きる — 仕組みと現実的な対策 Survey of Hallucination in Natural Language Generation LLMが平然と嘘をつくのはバグではなく、次トークン予測という学習目的の素直な帰結。損失関数に真偽の項がないこと、圧縮された知識が端から崩れること、サンプリングが裾を引くこと、採点方法が当てずっぽうに報酬を与えることを1から分解し、RAG・引用照合・不確実性推定という現場で実際に効く順に対策を並べる。 35 ·機械学習の基礎·★ 会員·14分で読めます データリークと実験管理 — 精度が高すぎたら疑うこと モデルの数字が思ったより良いとき、喜ぶ前に疑うべきものがあります。予測時点では手に入らない情報が学習や選択に混ざる「リーク」を、結果由来の列・前処理・時間・重複・テストの擦り切れの5種類に分けて解説し、ラベルシャッフルなどの検知手順と、原因を後から特定できる実験記録の作り方までを前提知識ゼロから積み上げます。 36 ·機械学習の基礎·★ 会員·14分で読めます データリークと実験管理 — 精度が高すぎたら疑うこと モデルの数字が思ったより良いとき、喜ぶ前に疑うべきものがあります。予測時点では手に入らない情報が学習や選択に混ざる「リーク」を、結果由来の列・前処理・時間・重複・テストの擦り切れの5種類に分けて解説し、ラベルシャッフルなどの検知手順と、原因を後から特定できる実験記録の作り方までを前提知識ゼロから積み上げます。 37 ·エージェント·★ 会員·論文·13分で読めます 論文解説: ASI-Bench — 手引きを1枚ずつ剥がして、AIの「自力」を測る ASI-Bench: At the Dawn of Artificial Superintelligence 同じ研究課題から人間の方法論的な手引きだけを段階的に剥がし、AIエージェントがどこまで自力で進めるかを測るベンチマーク ASI-Bench を、一次資料である論文本文から解説する。平均スコアは50.91→29.10→26.62へ落ち、崩れる場所は「手法選び」ではなかった。 38 ·エージェント·★ 会員·論文·15分で読めます エージェント評価 — ベンチとハーネスの作法 SWE-bench: Can Language Models Resolve Real-World GitHub Issues? エージェントのスコアは「モデルの点」ではなく「モデル＋ハーネス＋環境＋採点規則の点」です。SWE-benchの1件がどんな部品でできているか、手数が伸びると一手の差がなぜ桁で効くか、リポジトリやネットワークから答えが漏れる四つの経路、そして部分点を安全に設計する条件までを1から扱います。 39 ·エージェント·★ 会員·論文·15分で読めます エージェント評価 — ベンチとハーネスの作法 SWE-bench: Can Language Models Resolve Real-World GitHub Issues? エージェントのスコアは「モデルの点」ではなく「モデル＋ハーネス＋環境＋採点規則の点」です。SWE-benchの1件がどんな部品でできているか、手数が伸びると一手の差がなぜ桁で効くか、リポジトリやネットワークから答えが漏れる四つの経路、そして部分点を安全に設計する条件までを1から扱います。 40 ·★ 会員·論文·15分で読めます 論文解説 SemComp-Bench — 動画生成に「で、結局できたのか」を突きつける SemComp-Bench: Benchmarking Semantic Task Completion in Video Generation 動画生成の評価を「きれいか」から「指示した結果に到達したか」へ移した SemComp-Bench を、タスク定義・データ構築の4段パイプライン・ANDで束ねる採点式・実測値まで、論文本文に沿って読み解きます。 41 ·LLM — 大規模言語モデル·★ 会員·論文·16分で読めます 論文解説: SA-MRPO — 満点の科目を勉強し続けるな。飽和した報酬から勾配を引きはがす Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization 報酬を複数使うRL学習では、すでに満点に近い目的にも勾配予算が配られ続ける。SA-MRPO (arXiv:2608.16072) は目的ごとの「飽和率」を測って重みを割り引き、伸びしろの残る目的へ最適化の力を回す。論文本文だけを根拠に、仕組みと限界を解説する。 42 ·LLM — 大規模言語モデル·★ 会員·論文·10分で読めます 論文解説: 危機映像のAI捏造は見抜けるか — RA-Benchが暴いた検出器の実力 Can We Defend Against AI-Generated Video Attacks on Real-World Crisis Events? A Systematic Evaluation of Detectors, Generators and Social Dissemination 実在の災害・戦争映像の1コマ目から作らせたAI動画1万6千本で、検出器7種・ゼロショットのマルチモーダルモデル10種・専用ファインチューン2種を測ったら、どれも生成元をまたいで汎化しなかった。映像ではなくタイムスタンプを読んでいたモデル、SNS加工で検出率が1.4%まで落ちる話まで、論文本文から解説。 43 ·エージェント·★ 会員·論文·15分で読めます 論文解説: ComBodied Agents — エージェントの「作用対象」を人そのものに置き直す ComBodied Agents: a New Paradigm of Human-Centric Agentic AI デジタルエージェントはソフトの状態を、身体エージェントは物理の状態を書き換える。では「人の状態」を第一の対象にするのは誰か。Combodied Agents は知覚・縦断記憶・Personal World Model・介入方針を1つの閉ループに束ね、成功の基準を課題達成から『主体性が保たれたか』へ移す枠組みを提案する。実験を持たない立場表明論文として、その骨格と限界を本文に沿って読む。 44 ·推論・高速化·★ 会員·論文·12分で読めます 論文解説: The Personalization Mirage — LLMは「あなた」を勝手に作り上げ、自己申告は逆を指す The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads メモリ付きLLMは、ユーザーが一度も言っていない属性をどれだけ「知っている」ことにしてしまうのか。150ペルソナ×6タスク×14万件超の主張を判定したMirageBenchから、全12モデルが35〜49%を過剰推論する実態と、自己申告が控えめなモデルほど実際は捏造が多いという逆転現象を、論文本文に沿って解説する。 45 ·時系列データ系·★ 会員·12分で読めます 時系列予測を1から解説 — 古典手法から基盤モデルまで 時系列予測が普通の回帰と決定的に違うのは、行が独立でないことと、テストが必ず未来側にあることです。自己相関と定常性から入り、ARIMAの直感、季節とトレンドの分解、深層モデルと時系列基盤モデルの位置づけまで。最後に、実務で最も事故が多い「評価」——ランダム分割の禁止、バックテストの作法、MAPEの罠を厚く扱います。 46 ·LLM — 大規模言語モデル·無料·論文·10分で読めます プロンプトエンジニアリングの科学 — 何が実証され、何が迷信か Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 「ステップバイステップで考えて」は効くのか。Chain-of-Thought論文（Wei et al., 2022）の本文だけを根拠に、実験で実証されたこと（規模の閾値を超えたモデルでのみ効く創発）と、巷の呪文の多くが未検証であることの線引きをする。 47 ·機械学習の基礎·★ 会員·9分で読めます 過学習と評価設計 — 精度99%を疑え 訓練データに合わせすぎたモデルはなぜ現場で壊れるのか。train/validation/testの役割分担、交差検証、実務で最も多い失敗であるデータリーク、不均衡データで精度が嘘をつく仕組みと、適合率・再現率・F1の使い分けまで。 48 ·機械学習の基礎·★ 会員·9分で読めます 過学習と評価設計 — 精度99%を疑え 訓練データに合わせすぎたモデルはなぜ現場で壊れるのか。train/validation/testの役割分担、交差検証、実務で最も多い失敗であるデータリーク、不均衡データで精度が嘘をつく仕組みと、適合率・再現率・F1の使い分けまで。