saddle

定義

鞍点のこと。勾配はゼロだが最小でも最大でもなく、ある方向へ進めば値が下がり別の方向では上がる停留点を指す。高次元の非凸最適化では局所最小より鞍点のほうが圧倒的に多く、学習の停滞の主因はこちらだとする議論がある。周囲が平坦で勾配が小さいため、抜け出すのに時間がかかる点が実務上の問題。

論文題名での読み方

saddle point＝鞍点

この語が出てくる解説

• 凸性と最適化 — なぜ深層学習は「凸でない」のに動くのかIdentifying and attacking the saddle point problem in high-dimensional non-convex optimization