#evaluation

67 記事

01 ·論文解説·★ 会員·論文·9分で読めます 論文解説: From Evidence to Action: How Tool-Using Agents Fail — 失敗の診断指標と介入実験を本文から読む From Evidence to Action: How Tool-Using Agents Fail 道具を使うエージェントの失敗を「調べる・動く・つなぐ」の鎖に分けて測ったSafeActBench論文を、本文と付録まで読んで解説。診断指標の定義、根拠を抜いたときの挙動、証拠を構造化する追加実験の結果まで追う。 02 ·エージェント·無料·論文·9分で読めます 論文解説: SafeActBench — 道具を使うエージェントは「実行」より手前で失敗する From Evidence to Action: How Tool-Using Agents Fail 「結果が合っていた」は「根拠があって動いた」ことを意味しない。656件のSafeActBenchと10構成の実測で、失敗の多くが実行より手前——調べ足りないまま止まる／根拠が揃う前に動く——で起きていることを示した論文を1から解説する。 03 ·学習手法・アライメント·★ 会員·論文·10分で読めます 論文解説: 言い回しで点が変わるAI査読者をどう測り、どう直すか — RobustReview と SciCore A Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review 同じ科学を別の言い回しで書くとAI査読者の点が変わる問題を「修辞的頑健性」として定式化した論文の解説。安定性だけを見ると騙される『偽の頑健性』と、原稿の評価と“科学の芯”の評価を平均する SciCore を、指標の式とコードで1から読み解きます。 04 ·推論・高速化·★ 会員·論文·7分で読めます 論文解説: JEV-as-a-Judge — 自信があれば採用、迷ったら上位の審査員へ JEV-as-a-Judge: Accept When Confident, Escalate When Unsure 判定と確率だけを返す安価な審査AI（JEV）を一次審査に置き、自信の低い判定だけ強いLLMに回す。その2段構えが効く範囲と効かない範囲を、費用とともに実測した論文の解説。 05 ·★ 会員·論文·11分で読めます 論文解説: MiniMax-H3は物理世界を推論できるか — 全モダリティ生成モデルを「言われていないこと」で試す評価 Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model テキスト・画像・音声・動画をまとめて受け取れる生成モデルMiniMax-H3に、答えをプロンプトに書かずに「入力を突き合わせないと分からない課題」を517問解かせた評価論文。全体の成功率は41.97%で、音で状況を見分ける課題は27.40%にとどまった。 06 ·LLM — 大規模言語モデル·★ 会員·論文·12分で読めます 論文解説: Just-in-Time Memory — エージェントの記憶は「読むとき」に整える Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents LLMエージェントの過去経験を、保存時ではなく「次の課題が分かった瞬間」に要約し直す JitMem を1から解説。なぜ学習が簡単になるのか、どの数字がどこまで言えるのかを論文本文に沿って整理する。 07 ·LLM — 大規模言語モデル·★ 会員·論文·12分で読めます 論文解説: Just-in-Time Memory — エージェントの記憶は「読むとき」に整える Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents LLMエージェントの過去経験を、保存時ではなく「次の課題が分かった瞬間」に要約し直す JitMem を1から解説。なぜ学習が簡単になるのか、どの数字がどこまで言えるのかを論文本文に沿って整理する。 08 ·LLM — 大規模言語モデル·★ 会員·論文·12分で読めます 論文解説: Bellman Policy Optimization — 価値モデルなしで「方策ミラー降下」をLLMに持ち込む Bellman Policy Optimization ゴールでしか採点されないLLMの強化学習で、途中の状態価値を一切推定せずに方策ミラー降下（PMD）と同じ最適解を狙うBPO (arXiv:2609.15987)。ベルマン方程式の「伸縮する和」から実用損失までを、論文本文だけを根拠に1から解説する。 09 ·LLM — 大規模言語モデル·★ 会員·論文·11分で読めます 論文解説: Training Object Permanence in World Models — 動画モデルに「見えなくても物はそこにある」を教える Training Object Permanence in World Models 動画生成モデルは、隠れた物を消したり壁をすり抜けさせたりする。対象の永続性と固体性を測る150種のBlender課題WROPと、その合成データで追加学習した16BモデルPWM-WROPの結果を、評価方法の読み方まで含めて解説します。 10 ·LLM — 大規模言語モデル·★ 会員·論文·11分で読めます 論文解説: Training Object Permanence in World Models — 動画モデルに「見えなくても物はそこにある」を教える Training Object Permanence in World Models 動画生成モデルは、隠れた物を消したり壁をすり抜けさせたりする。対象の永続性と固体性を測る150種のBlender課題WROPと、その合成データで追加学習した16BモデルPWM-WROPの結果を、評価方法の読み方まで含めて解説します。 11 ·LLM — 大規模言語モデル·★ 会員·論文·9分で読めます 論文解説: OmniEdu — 「解く・位置づける・見立てる・導く」の4能力で作る教育用オープンLLM OmniEdu: Open Foundation Models for Learning and Teaching K-12教育向けのオープンLLM「OmniEdu」を解説。約134万件の候補から6万951件を選ぶデータ設計と、答えを言う/言わないを切り替える「教え方の指示」、評価結果と限界までを1から読み解く。 12 ·LLM — 大規模言語モデル·★ 会員·論文·9分で読めます 論文解説: OmniEdu — 「解く・位置づける・見立てる・導く」の4能力で作る教育用オープンLLM OmniEdu: Open Foundation Models for Learning and Teaching K-12教育向けのオープンLLM「OmniEdu」を解説。約134万件の候補から6万951件を選ぶデータ設計と、答えを言う/言わないを切り替える「教え方の指示」、評価結果と限界までを1から読み解く。 13 ·LLM — 大規模言語モデル·★ 会員·論文·14分で読めます 論文解説: Beyond Solver Verdicts — ソルバーが「正しい」と言っても翻訳は間違っているかもしれない Beyond Solver Verdicts: Generative Reward Models for Autoformalization LLMが自然文を論理式に翻訳し、Z3が解く。ソルバーの答えが合っていても翻訳が誤っている「VPU」という失敗を定式化し、Z3の等価判定をYes/Noの次トークン確率に蒸留する検証器GenVを提案した論文を、前提知識ゼロから解説します。 14 ·LLM — 大規模言語モデル·★ 会員·論文·14分で読めます 論文解説: Beyond Solver Verdicts — ソルバーが「正しい」と言っても翻訳は間違っているかもしれない Beyond Solver Verdicts: Generative Reward Models for Autoformalization LLMが自然文を論理式に翻訳し、Z3が解く。ソルバーの答えが合っていても翻訳が誤っている「VPU」という失敗を定式化し、Z3の等価判定をYes/Noの次トークン確率に蒸留する検証器GenVを提案した論文を、前提知識ゼロから解説します。 15 ·LLM — 大規模言語モデル·★ 会員·論文·18分で読めます 論文解説 Feyospace-v1 — 7人のチームが「環境」でサイバーAIを鍛えた話 Feyospace-v1: How the Cyber Mercury Seven Trained Frontier Cyber Models 7人の独立チームがオープンウェイトモデルをサイバー領域で鍛え上げた記録。鍵はモデル規模ではなく、リセット可能な実行環境と16万本の監査済み軌跡だった。論文の数字に沿って設計と限界を読み解く。 16 ·LLM — 大規模言語モデル·★ 会員·論文·18分で読めます 論文解説 Feyospace-v1 — 7人のチームが「環境」でサイバーAIを鍛えた話 Feyospace-v1: How the Cyber Mercury Seven Trained Frontier Cyber Models 7人の独立チームがオープンウェイトモデルをサイバー領域で鍛え上げた記録。鍵はモデル規模ではなく、リセット可能な実行環境と16万本の監査済み軌跡だった。論文の数字に沿って設計と限界を読み解く。 17 ·学習手法・アライメント·★ 会員·論文·20分で読めます 論文解説: DataFlex-RL — RLVRの「データ政策」11手法は一様サンプリングに勝てたか。12シードで測り直した結果 DataFlex-RL: An Evaluation Platform for RLVR Data Policies 「良いロールアウトだけ学習に使えば強くなる」はRLVRの常識になりつつある。DataFlex-RL (arXiv:2609.06107) は選択・再重み付け・混合適応の13構成を同じGRPOレシピ・12シードで比べ、どれも一様サンプリングとの差が95%区間でゼロをまたぐと報告した。評価ベンチマークの選び方で勝者が入れ替わる事実も含め、論文本文に沿って読み解く。 18 ·★ 会員·論文·15分で読めます 論文解説: VDiff-Bench — 最強のMLLMでも「間違い探し」の低レベル変化を見落とす VDiff-Bench: A Challenging Benchmark for Fine-Grained Image Difference Identification 「2枚の画像で何が変わったか」を4択で問うVDiff-Benchを論文本文から解説。1,756問・10カテゴリの作り方、11モデルの結果、ノイズやテクスチャの変化を『差なし』と答えてしまう失敗の構造、画像編集の自動評価に使うときの落とし穴まで。 19 ·LLM — 大規模言語モデル·★ 会員·論文·17分で読めます 論文解説: RealSWE — 「バグ直して」だけの依頼でコーディングエージェントを測り直す RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests SWE-benchの問題文は現実のユーザー依頼と別物だ、という主張を実データで測り、同じタスクの情報構成と文体だけを入れ替えられる381のタスク族を作った論文。正解率は平均6.4pt落ち、順位まで入れ替わる。 20 ·LLM — 大規模言語モデル·★ 会員·論文·17分で読めます 論文解説: RealSWE — 「バグ直して」だけの依頼でコーディングエージェントを測り直す RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests SWE-benchの問題文は現実のユーザー依頼と別物だ、という主張を実データで測り、同じタスクの情報構成と文体だけを入れ替えられる381のタスク族を作った論文。正解率は平均6.4pt落ち、順位まで入れ替わる。 21 ·LLM — 大規模言語モデル·★ 会員·論文·21分で読めます 論文解説: FlowBalance — 検証器で接地した自己改善、自分の推論経験から分布を学ぶ FlowBalance: Verifier-Grounded Self-Improvement from On-Policy Reasoning Experience 自分の答案から学ぶループは、答え合わせが疎すぎるか、自分の自信を鵜呑みにするかで壊れる。FlowBalanceは「密な自己採点の向きを検証器に決めさせる」という一手で両方を回避し、応答全体の正規化分布として学習する。前提知識ゼロから解説する。 22 ·エージェント·★ 会員·論文·12分で読めます 論文解説: CogEvol — 報酬が測れないものを、強化学習は静かに壊す CogEvol: Towards Efficient and Reliable Learning Environment Generation 教材をワンパスで生成するモデル群 CogEvol の技術報告。中心にあるのは「スクリーンショットだけを見る報酬でRLを回すと、見た目は立派で遊べないゲームが量産される」という実際に起きた事故と、その修正の記録。 23 ·エージェント·★ 会員·論文·16分で読めます 論文解説: EarlyEval — エージェント評価を「途中で打ち切って」安くする EarlyEval: Cheaper Agent Evaluation via Early Outcome Prediction エージェントの評価は1回数百ドルかかる。EarlyEvalは「結末は途中の振る舞いから読める」という発見を使い、実行を途中で止めて費用を13〜26%削る。仕組み・実験値・限界を論文本文から解説。 24 ·エージェント·★ 会員·論文·20分で読めます 論文解説: Aspire — モデルは「曖昧な目標」から自己進化できるか Aspire: Can Models Self-Evolve from Vague Goals? 「もっと数学が得意になれ」だけを渡されたエージェントは、自分で学ぶ内容と検証方法を決めて本当に強くなれるのか。隠された520問で測るベンチマーク Aspire を前提知識ゼロから解説し、学習ループは回るのに能力が伸びないという結果を数字で追う。 25 ·学習手法・アライメント·★ 会員·論文·18分で読めます 論文解説: StudentSim — 「その生徒そのもの」を訓練で作る学習者シミュレータ StudentSim: Training LLM-based Student Simulators AI家庭教師を鍛えるための『練習台になる生徒』を、実際の学習記録から訓練して作る枠組み。行動忠実度(F)と指導反応性(R)という2軸の定義から、プール学習→生徒別特化の2段パイプライン、報酬モデルとしての応用までを1から解説する。 26 ·エージェント·★ 会員·論文·21分で読めます 論文解説: StarHarness — モデルを凍結したまま「ハーネス」を進化させる StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments モデルの重みを一切変えず、エージェントを取り巻く「ハーネス」（プロンプト・ツール定義・スキル・MCP・サブエージェント・実行ループ）だけを探索で書き換える。企業向け3ベンチマークで20〜35ポイント改善し、進化に使わなかったタスクにも、別のモデルにも効いた。 27 ·評価と審判·★ 会員·論文·16分で読めます 自己改善するAI — 共進化・自己対戦・カリキュラム生成の系譜 Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm 外から教師データを足さずにモデルが強くなる、という現象がどういう条件で成立するのかを1から分解する。AlphaZeroの自己対戦が成立した三つの条件を取り出し、それが言語モデルでどこから壊れるか、共進化とカリキュラム生成がその穴をどう埋めようとしているか、そして自己改善の主張をどう評価すべきかまでを扱う。 28 ·評価と審判·★ 会員·論文·12分で読めます 報酬ハッキング — 測り方を決めると、そこが壊れる Concrete Problems in AI Safety 指標を決めた瞬間から、その指標は壊れ始める。Goodhartの法則がなぜ統計的に避けられないのかを代理報酬のずれから説明し、ボートレースの周回からRLHFの冗長化・おべっか・テストのハードコードまで実例で追い、最適化圧と真の性能の乖離を検出する方法とKL正則化などの現実的な対策を扱う。 29 ·LLM — 大規模言語モデル·★ 会員·論文·15分で読めます 論文解説: Puro-2B — コンシューマGPUで2Bモデルを$6.9Kからゼロ事前学習する Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090 ゲーミング向けGPUのRTX 5090で1.4兆トークンの事前学習を回し、Qwen2-1.5B級の性能に約$4.4Kで届いたという報告を、コスト構造・FP8・実効学習率・カリキュラム平均の順に1から解説する。 30 ·エージェント·★ 会員·論文·17分で読めます 論文解説: LoopArena — コーディングエージェントを「操縦する側」を測る LoopArena: Benchmarking Models as Runtime Controllers for Loop Engineering コーディングエージェントに指示を出し続ける『外側のループ』の良し悪しを、エージェント本体を固定したまま測るベンチマーク LoopArena を、前提知識ゼロから解説する。最良でも完全タスク成功率24.69%という結果の読み方まで。 31 ·評価と審判·無料·論文·12分で読めます LLM-as-a-Judge を1から — AIがAIを採点する仕組みと限界 Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena モデルの出力をモデルに採点させる「LLM-as-a-Judge」を、前提知識ゼロから解説。判定を確率分布として読む方法、位置バイアス・冗長性バイアス・自己選好という三つの偏り、比較回数が2乗で増える構造、そして審査員自身を人手と突き合わせて検証する手順までを扱います。 32 ·評価と審判·無料·論文·12分で読めます LLM-as-a-Judge を1から — AIがAIを採点する仕組みと限界 Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena モデルの出力をモデルに採点させる「LLM-as-a-Judge」を、前提知識ゼロから解説。判定を確率分布として読む方法、位置バイアス・冗長性バイアス・自己選好という三つの偏り、比較回数が2乗で増える構造、そして審査員自身を人手と突き合わせて検証する手順までを扱います。 33 ·評価と審判·★ 会員·論文·12分で読めます ベンチマーク汚染 — 「高スコア」を疑う技術 Rethinking Benchmark and Contamination for Language Models with Rephrased Samples ベンチマークの高スコアが実力なのか暗記なのかを見分けるための記事。汚染の3つの型、n-gram重なり・埋め込み近傍・メンバーシップ推論という検出手段とその限界、カナリア文字列と時系列分割の仕組みを1から解説し、論文を読むときの警戒点をチェックリストにまとめる。 34 ·評価と審判·★ 会員·論文·12分で読めます ベンチマーク汚染 — 「高スコア」を疑う技術 Rethinking Benchmark and Contamination for Language Models with Rephrased Samples ベンチマークの高スコアが実力なのか暗記なのかを見分けるための記事。汚染の3つの型、n-gram重なり・埋め込み近傍・メンバーシップ推論という検出手段とその限界、カナリア文字列と時系列分割の仕組みを1から解説し、論文を読むときの警戒点をチェックリストにまとめる。 35 ·評価と審判·無料·論文·15分で読めます エージェント評価ベンチ地図 — SWE-bench・GAIA・OSWorldは何を測るか SWE-bench: Can Language Models Resolve Real-World GitHub Issues? エージェント評価の代表3本（SWE-bench・GAIA・OSWorld）が実際に何を測っているかを、採点方式の違いから解きほぐす。汚染とリークの4類型、そして発表されたスコアを自分の用途向けに読み替える手順まで。 36 ·評価と審判·無料·論文·15分で読めます エージェント評価ベンチ地図 — SWE-bench・GAIA・OSWorldは何を測るか SWE-bench: Can Language Models Resolve Real-World GitHub Issues? エージェント評価の代表3本（SWE-bench・GAIA・OSWorld）が実際に何を測っているかを、採点方式の違いから解きほぐす。汚染とリークの4類型、そして発表されたスコアを自分の用途向けに読み替える手順まで。 37 ·LLM — 大規模言語モデル·★ 会員·論文·13分で読めます 論文解説: Agentic Artifact Creation — 「生成」と「納品物を組み立てる」はどう違うのか Agentic Artifact Creation: Systems, Evaluation, Principles, and Opportunities 259件の文献を「納品される成果物」という一点から整理したサーベイ。状態・編集・検証という3つの役でエージェント的創出を定義し、6ファミリー・評価の3対象・4原則・6つの未解決問題まで、前提知識ゼロから読み解きます。 38 ·LLM — 大規模言語モデル·★ 会員·論文·13分で読めます 論文解説: Agentic Artifact Creation — 「生成」と「納品物を組み立てる」はどう違うのか Agentic Artifact Creation: Systems, Evaluation, Principles, and Opportunities 259件の文献を「納品される成果物」という一点から整理したサーベイ。状態・編集・検証という3つの役でエージェント的創出を定義し、6ファミリー・評価の3対象・4原則・6つの未解決問題まで、前提知識ゼロから読み解きます。 39 ·学習手法・アライメント·★ 会員·論文·12分で読めます 論文解説 PAWBench — 動画生成は「起こりうる未来の確率」まで当てられるのか PAWBench: How Far Are We from Probabilistically Aligned World Modeling? 動画生成モデルを世界モデルと呼ぶなら、もっともらしい1本ではなく、同じ初期状態から繰り返し生成したときの分布が正しくなければならない。PAWBench はその確率的整合を50シナリオ・11モデルで測り、どのモデルも要件を揃えられないことを示した論文です。 40 ·エージェント·★ 会員·論文·23分で読めます 論文解説: JIT-Agent — エージェントの「ハーネス」をその場で書き起こすモデル JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution エージェントの性能はモデルだけで決まらない。記憶・計画・行動・道具の4モジュールからなる「ハーネス」をタスクごとに生成する専用モデル JIT-Agent を、前提知識なしで解説する。 41 ·無料·論文·11分で読めます 論文解説: VGI-Bench — 動画生成モデルは「途中経過」まで正しく描けるのか VGI-Bench: Probing Visual Intelligence in Video Generation Models 動画生成モデルを「視覚で考える機械」として測るベンチマーク VGI-Bench の設計と結果を、前提知識ゼロから解説。最強の Seedance 2.0 でも 51.0 にとどまり、デノイズ途中の自己修正はほぼ起きないという測定結果までを追う。 42 ·エージェント·★ 会員·論文·11分で読めます 論文解説: FrontierChallenge — 科学の仕事を「最後まで納品できたか」で測る FrontierChallenge: Evaluating Scientific Workflow Completion 科学ワークフローを最後まで完遂できるかを測るベンチマーク FrontierChallenge の解説。平均点87.9でも完全達成は20.6%、電気化学では平均94.9でPass Rate 0%。未達の軌跡の75.5%が「完了しました」と述べて終わっていた。 43 ·蒸留と圧縮·★ 会員·論文·12分で読めます 蒸留モデルの評価 — 「教師に近い」は良い指標か Measuring Massive Multitask Language Understanding 蒸留した生徒モデルを「教師との一致率」で採点すると、教師の誤りを忠実に写した生徒ほど高得点になります。一致率が数学的に何を保証して何を保証しないのか、分布の外で何が崩れるのか、合成データ経由のベンチマーク汚染をどう検査するのか — 蒸留モデルの評価設計を前提知識ゼロから組み立てます。 44 ·蒸留と圧縮·★ 会員·論文·12分で読めます 蒸留モデルの評価 — 「教師に近い」は良い指標か Measuring Massive Multitask Language Understanding 蒸留した生徒モデルを「教師との一致率」で採点すると、教師の誤りを忠実に写した生徒ほど高得点になります。一致率が数学的に何を保証して何を保証しないのか、分布の外で何が崩れるのか、合成データ経由のベンチマーク汚染をどう検査するのか — 蒸留モデルの評価設計を前提知識ゼロから組み立てます。 45 ·RAG・検索拡張·★ 会員·論文·16分で読めます RAG評価の実務 — 「なんとなく良い」を数字にする RAGAS: Automated Evaluation of Retrieval Augmented Generation RAGの改善が迷子になるのは、良し悪しを一つの感覚で見ているからだ。検索と生成を切り離して測る指標、忠実性と関連性の定義、合成QAで評価セットを作る手順とその落とし穴、そして何問あれば数字を信じてよいのかまでを1から積み上げる。 46 ·RAG・検索拡張·★ 会員·論文·16分で読めます RAG評価の実務 — 「なんとなく良い」を数字にする RAGAS: Automated Evaluation of Retrieval Augmented Generation RAGの改善が迷子になるのは、良し悪しを一つの感覚で見ているからだ。検索と生成を切り離して測る指標、忠実性と関連性の定義、合成QAで評価セットを作る手順とその落とし穴、そして何問あれば数字を信じてよいのかまでを1から積み上げる。 47 ·エージェント·無料·論文·12分で読めます マルチエージェント設計パターン — 分担・討論・検証 Improving Factuality and Reasoning in Language Models through Multiagent Debate エージェントを何体並べても、全員が同じ間違い方をするなら1体と変わりません。多数決が効く条件を式で押さえたうえで、分担・討論・敵対的検証の3つの型を、いつ使い、いつ1体で済ませるべきかまで整理します。 48 ·Transformerの仕組み·★ 会員·論文·13分で読めます 長文脈LLMの技術 — RoPE補間からリング注意まで Extending Context Window of Large Language Models via Positional Interpolation 「コンテキスト長128K」の中身は、性格の違う二つの壁を別々に越えた結果です。位置の壁を越える位置補間・NTK・YaRN、計算の壁を越える窓とリング注意、そして越えられたかを測るneedle試験の読み方を、前提知識ゼロから順に追います。 49 ·LLM — 大規模言語モデル·無料·論文·13分で読めます LLM評価を1から — ベンチマークの読み方と汚染問題 Measuring Massive Multitask Language Understanding モデル発表資料に並ぶベンチマークの棒グラフを、正しく疑いながら読むための記事。採点方式がMMLUのスコアを動かす仕組み、問題数から来る誤差の幅、公開ベンチマークが構造的に汚染される理由、Chatbot ArenaのBradley-Terryモデルとその弱点、LLM-as-a-judgeの三つの偏りまでを1から扱う。 50 ·LLM — 大規模言語モデル·無料·論文·13分で読めます LLM評価を1から — ベンチマークの読み方と汚染問題 Measuring Massive Multitask Language Understanding モデル発表資料に並ぶベンチマークの棒グラフを、正しく疑いながら読むための記事。採点方式がMMLUのスコアを動かす仕組み、問題数から来る誤差の幅、公開ベンチマークが構造的に汚染される理由、Chatbot ArenaのBradley-Terryモデルとその弱点、LLM-as-a-judgeの三つの偏りまでを1から扱う。 51 ·機械学習の基礎·★ 会員·14分で読めます 不均衡データの実務 — 99%が正常のとき何を最適化するか 陽性が1%しかないデータでは正解率が嘘をつく。混同行列からPR曲線、重み付け・サンプリング・確率の較正、そして期待コストから閾値を逆算するところまでを、前提知識なしで積み上げる。 52 ·機械学習の基礎·★ 会員·14分で読めます 不均衡データの実務 — 99%が正常のとき何を最適化するか 陽性が1%しかないデータでは正解率が嘘をつく。混同行列からPR曲線、重み付け・サンプリング・確率の較正、そして期待コストから閾値を逆算するところまでを、前提知識なしで積み上げる。 53 ·LLM — 大規模言語モデル·無料·論文·11分で読めます ハルシネーションはなぜ起きる — 仕組みと現実的な対策 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks LLMが平然と嘘をつくのはバグではなく、次トークン予測という学習目的の素直な帰結。損失関数に真偽の項がないこと、圧縮された知識が端から崩れること、サンプリングが裾を引くこと、採点方法が当てずっぽうに報酬を与えることを1から分解し、RAG・引用照合・不確実性推定という現場で実際に効く順に対策を並べる。 54 ·機械学習の基礎·★ 会員·14分で読めます データリークと実験管理 — 精度が高すぎたら疑うこと モデルの数字が思ったより良いとき、喜ぶ前に疑うべきものがあります。予測時点では手に入らない情報が学習や選択に混ざる「リーク」を、結果由来の列・前処理・時間・重複・テストの擦り切れの5種類に分けて解説し、ラベルシャッフルなどの検知手順と、原因を後から特定できる実験記録の作り方までを前提知識ゼロから積み上げます。 55 ·機械学習の基礎·★ 会員·14分で読めます データリークと実験管理 — 精度が高すぎたら疑うこと モデルの数字が思ったより良いとき、喜ぶ前に疑うべきものがあります。予測時点では手に入らない情報が学習や選択に混ざる「リーク」を、結果由来の列・前処理・時間・重複・テストの擦り切れの5種類に分けて解説し、ラベルシャッフルなどの検知手順と、原因を後から特定できる実験記録の作り方までを前提知識ゼロから積み上げます。 56 ·エージェント·★ 会員·論文·13分で読めます 論文解説: ASI-Bench — 手引きを1枚ずつ剥がして、AIの「自力」を測る ASI-Bench: At the Dawn of Artificial Superintelligence 同じ研究課題から人間の方法論的な手引きだけを段階的に剥がし、AIエージェントがどこまで自力で進めるかを測るベンチマーク ASI-Bench を、一次資料である論文本文から解説する。平均スコアは50.91→29.10→26.62へ落ち、崩れる場所は「手法選び」ではなかった。 57 ·エージェント·無料·論文·15分で読めます エージェント評価 — ベンチとハーネスの作法 SWE-bench: Can Language Models Resolve Real-World GitHub Issues? エージェントのスコアは「モデルの点」ではなく「モデル＋ハーネス＋環境＋採点規則の点」です。SWE-benchの1件がどんな部品でできているか、手数が伸びると一手の差がなぜ桁で効くか、リポジトリやネットワークから答えが漏れる四つの経路、そして部分点を安全に設計する条件までを1から扱います。 58 ·エージェント·無料·論文·15分で読めます エージェント評価 — ベンチとハーネスの作法 SWE-bench: Can Language Models Resolve Real-World GitHub Issues? エージェントのスコアは「モデルの点」ではなく「モデル＋ハーネス＋環境＋採点規則の点」です。SWE-benchの1件がどんな部品でできているか、手数が伸びると一手の差がなぜ桁で効くか、リポジトリやネットワークから答えが漏れる四つの経路、そして部分点を安全に設計する条件までを1から扱います。 59 ·無料·論文·15分で読めます 論文解説 SemComp-Bench — 動画生成に「で、結局できたのか」を突きつける SemComp-Bench: Benchmarking Semantic Task Completion in Video Generation 動画生成の評価を「きれいか」から「指示した結果に到達したか」へ移した SemComp-Bench を、タスク定義・データ構築の4段パイプライン・ANDで束ねる採点式・実測値まで、論文本文に沿って読み解きます。 60 ·LLM — 大規模言語モデル·★ 会員·論文·16分で読めます 論文解説: SA-MRPO — 満点の科目を勉強し続けるな。飽和した報酬から勾配を引きはがす Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization 報酬を複数使うRL学習では、すでに満点に近い目的にも勾配予算が配られ続ける。SA-MRPO (arXiv:2608.16072) は目的ごとの「飽和率」を測って重みを割り引き、伸びしろの残る目的へ最適化の力を回す。論文本文だけを根拠に、仕組みと限界を解説する。 61 ·LLM — 大規模言語モデル·★ 会員·論文·10分で読めます 論文解説: 危機映像のAI捏造は見抜けるか — RA-Benchが暴いた検出器の実力 Can We Defend Against AI-Generated Video Attacks on Real-World Crisis Events? A Systematic Evaluation of Detectors, Generators and Social Dissemination 実在の災害・戦争映像の1コマ目から作らせたAI動画1万6千本で、検出器7種・ゼロショットのマルチモーダルモデル10種・専用ファインチューン2種を測ったら、どれも生成元をまたいで汎化しなかった。映像ではなくタイムスタンプを読んでいたモデル、SNS加工で検出率が1.4%まで落ちる話まで、論文本文から解説。 62 ·エージェント·無料·論文·15分で読めます 論文解説: ComBodied Agents — エージェントの「作用対象」を人そのものに置き直す ComBodied Agents: a New Paradigm of Human-Centric Agentic AI デジタルエージェントはソフトの状態を、身体エージェントは物理の状態を書き換える。では「人の状態」を第一の対象にするのは誰か。Combodied Agents は知覚・縦断記憶・Personal World Model・介入方針を1つの閉ループに束ね、成功の基準を課題達成から『主体性が保たれたか』へ移す枠組みを提案する。実験を持たない立場表明論文として、その骨格と限界を本文に沿って読む。 63 ·推論・高速化·無料·論文·12分で読めます 論文解説: The Personalization Mirage — LLMは「あなた」を勝手に作り上げ、自己申告は逆を指す The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads メモリ付きLLMは、ユーザーが一度も言っていない属性をどれだけ「知っている」ことにしてしまうのか。150ペルソナ×6タスク×14万件超の主張を判定したMirageBenchから、全12モデルが35〜49%を過剰推論する実態と、自己申告が控えめなモデルほど実際は捏造が多いという逆転現象を、論文本文に沿って解説する。 64 ·時系列データ系·無料·12分で読めます 時系列予測を1から解説 — 古典手法から基盤モデルまで 時系列予測が普通の回帰と決定的に違うのは、行が独立でないことと、テストが必ず未来側にあることです。自己相関と定常性から入り、ARIMAの直感、季節とトレンドの分解、深層モデルと時系列基盤モデルの位置づけまで。最後に、実務で最も事故が多い「評価」——ランダム分割の禁止、バックテストの作法、MAPEの罠を厚く扱います。 65 ·LLM — 大規模言語モデル·無料·論文·10分で読めます プロンプトエンジニアリングの科学 — 何が実証され、何が迷信か Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 「ステップバイステップで考えて」は効くのか。Chain-of-Thought論文（Wei et al., 2022）の本文だけを根拠に、実験で実証されたこと（規模の閾値を超えたモデルでのみ効く創発）と、巷の呪文の多くが未検証であることの線引きをする。 66 ·機械学習の基礎·★ 会員·9分で読めます 過学習と評価設計 — 精度99%を疑え 訓練データに合わせすぎたモデルはなぜ現場で壊れるのか。train/validation/testの役割分担、交差検証、実務で最も多い失敗であるデータリーク、不均衡データで精度が嘘をつく仕組みと、適合率・再現率・F1の使い分けまで。 67 ·機械学習の基礎·★ 会員·9分で読めます 過学習と評価設計 — 精度99%を疑え 訓練データに合わせすぎたモデルはなぜ現場で壊れるのか。train/validation/testの役割分担、交差検証、実務で最も多い失敗であるデータリーク、不均衡データで精度が嘘をつく仕組みと、適合率・再現率・F1の使い分けまで。