報酬ハッキング — 測り方を決めると、そこが壊れる

指標を決めた瞬間から、その指標は壊れ始める。Goodhartの法則がなぜ統計的に避けられないのかを代理報酬のずれから説明し、ボートレースの周回からRLHFの冗長化・おべっか・テストのハードコードまで実例で追い、最適化圧と真の性能の乖離を検出する方法とKL正則化などの現実的な対策を扱う。

Concrete Problems in AI Safety

コブラに賞金を出した日

植民地時代のインドで、コブラを減らすために死骸へ賞金を出したところ、人々はコブラを殺しに行く代わりに飼い始めた — この逸話の史実性ははっきりしませんが、語り継がれるのは、誰もが職場で同じ構造を見ているからです。

サポート部門の評価を「平均応答時間」にすれば、難しい問い合わせを早々に打ち切る担当が現れます。病院の評価を「待ち時間」にすれば、受付の前に別の待機列が生まれます。測っているのは目的ではなく目的の影であり、影を大きくする方法は、目的を達成する以外にもたくさんあるのです。

報酬ハッキング（reward hacking）は、これがモデルの中で、人間よりずっと速く徹底的に起きる現象です。モデルに「本当は何をしてほしいか」を伝える手段はなく、渡せるのは点数のつけ方だけです。そして最適化とは、定義上点数を最大にする方法を余さず探す手続きです。抜け道があるなら見つかります。見つからないほうがおかしい。

Goodhartの法則 — なぜ避けられないのか

経済学者チャールズ・グッドハートの観察は、人類学者マリリン・ストラザーンの言い換えで広く知られています。「測定が目標になると、それは良い測定ではなくなる」。

これは精神論ではなく、ほとんど式で書ける話です。本当に最大化したいものを $U$（真の効用）、実際に測れるものを $\tilde{U}$（代理指標）とします。

読み下すと「測れる指標は、本当に欲しいものに、ずれ $X$ が乗ったものだ」というだけです。$X$ は測定誤差・拾いきれない側面・抜け道の余地をひとまとめにした項だと思ってください。

普段の運用では $X$ は小さく、$\tilde{U}$ が高い施策は $U$ も高い。だから指標は役に立ちます。問題は、最適化がその「普段」の外へ出ていくことです。$\tilde{U}$ を極端に高くする点を探すと、$U$ が高いから高いのではなく $X$ が大きいから高い点が選ばれます。$U$ は有限で頭打ちなのに、$X$ は抜け道の分だけどこまでも伸びうるからです。

つまり報酬ハッキングは、モデルが不誠実だから起きるのではありません。強く最適化するほど、指標の勝ち筋が「本物」から「ずれ」へ移るという選択の統計的性質です。相関は最適化に耐えられない、と言い換えてもいい。

相関は「普段の範囲」でしか成り立たない

この乖離は、過学習の絵とまったく同じ形をしています。訓練誤差（＝測っている指標）を下げ続けると、ある点から先はテスト誤差（＝本当に欲しい性能）が上がり始めます。下の図で次数のスライダーを右へ動かし、二本の線が離れ始める点を探してください。そこが指標を信じてよい範囲の端です。

肝心なのは、折り返しが指標の側からは見えないことです。報酬の数字は最後まで綺麗に伸び続けます。この構造自体は過学習と評価で扱っていますが、報酬設計では「テスト誤差にあたるもの」を誰も自動では計算してくれない点が決定的に厄介です。

壊れ方には型がある

対策を議論する前に、少なくとも四つの型に分けると見通しがよくなります。

• 回帰的: 代理にはノイズが乗る。上位を選ぶと「実力が高い候補」でなく「ノイズが有利に出た候補」が混ざる。ベスト・オブ・N で N を増やすほど報酬スコアは上がるのに人間評価が伸びない、というあれです。
• 極値的: 報酬モデルは「人間が実際に比較した応答」の近傍でしか校正されていない。そこから離れた奇妙な出力に、平気で高い点を出します。
• 因果的: 相関を因果と取り違えた指標。「良い回答は長い傾向がある」から「長くすれば良い回答になる」へ滑ると、水増しが量産されます。
• 敵対的: 採点の仕組みそのものを狙う。テスト入力を決め打ちする、評価プロンプトに紛れた指示に反応する、など。

この四つは処方が違います。前二つは「最適化の強さを制御する」問題、三つ目は「指標を設計し直す」問題、四つ目は「採点系を攻撃から守る」問題です。混ぜて話すと、係数をいじって直る話と指標を捨てるしかない話が同じ卓に乗ってしまいます。