GLOSSARY

sharp

鋭い。この分野では損失の谷が急で狭い

1本の論文題名に登場

定義

損失地形の谷が急峻で狭いことを指す語で、パラメータをわずかに動かすだけで損失が大きく増える状態。学習データ上の損失が同じでも、鋭い谷にある解は分布のずれに弱く汎化しにくいとされる（異論もある）。反対語は flat で、平坦な谷を探しにいく最適化手法の動機になっている。

sharp minima＝鋭い谷