non-convex

定義

損失関数が単一の谷にならず、複数の谷や鞍点を持つ形状であること。凸最適化と違い、勾配法で見つけた解が全体の最小である保証はない。ただし深層学習では実際に到達する谷の多くが同程度に良いことが経験的に知られており、非凸であること自体は理論上の懸念ほど致命的な障害にはなっていない。

論文題名での読み方

最適化の難しさを示す

この語が出てくる解説

• 凸性と最適化 — なぜ深層学習は「凸でない」のに動くのかIdentifying and attacking the saddle point problem in high-dimensional non-convex optimization