curvature

曲率。損失の面の曲がり具合＝二次の情報

1本の論文題名に登場

定義

曲率。損失関数の面がどれだけ曲がっているかを表し、数学的にはヘッセ行列やフィッシャー情報行列といった二次の情報に対応する。曲率が分かれば平坦な方向は大きく、急な方向は小さく踏み出せるので更新回数が減る。ただし行列の大きさがパラメータ数の二乗になるため、実用手法はすべて何らかの近似を使う。

二次最適化が使う情報