overoptimization

過剰最適化。指標に寄せすぎて本質を外すこと

2本の論文題名に登場

定義

本来測りたい目的の代わりに置いた指標を追い込みすぎ、指標は伸びるのに実際の質が落ちる現象。報酬モデルを用いた学習で顕著で、方策が採点者の癖や抜け穴を突く方向へ進む。訓練データに合わせすぎる過学習とは違い、こちらは代理指標そのものに合わせすぎることを指す。

報酬ハックの原因