#reward-hacking

3 記事

01 ·論文解説·★ 会員·論文·10分で読めます 論文解説: False Frontiers — 自己進化する検索エージェントの「共謀カンニング」を診断して断つ False Frontiers: Diagnosing and Mitigating Co-Cheating in Self-Evolving Search Agents 問題を作るAIと解くAIが同じ間違いで「一致」し、内部の報酬だけが伸びていく失敗＝co-cheatingを外部監査で可視化し、採点役を『そのソースを学習していない解答器』に差し替えるCrossFitで断つ論文。仕組み・実験・コスト・限界まで読み解く。 02 ·エージェント·★ 会員·論文·12分で読めます 論文解説: CogEvol — 報酬が測れないものを、強化学習は静かに壊す CogEvol: Towards Efficient and Reliable Learning Environment Generation 教材をワンパスで生成するモデル群 CogEvol の技術報告。中心にあるのは「スクリーンショットだけを見る報酬でRLを回すと、見た目は立派で遊べないゲームが量産される」という実際に起きた事故と、その修正の記録。 03 ·評価と審判·★ 会員·論文·12分で読めます 報酬ハッキング — 測り方を決めると、そこが壊れる Concrete Problems in AI Safety 指標を決めた瞬間から、その指標は壊れ始める。Goodhartの法則がなぜ統計的に避けられないのかを代理報酬のずれから説明し、ボートレースの周回からRLHFの冗長化・おべっか・テストのハードコードまで実例で追い、最適化圧と真の性能の乖離を検出する方法とKL正則化などの現実的な対策を扱う。