凸性と最適化 — なぜ深層学習は「凸でない」のに動くのか

最適化理論の教科書は「凸なら解ける、凸でないなら保証なし」と教える。では損失面が凸でない深層学習はなぜ動くのか。凸集合・凸関数の定義から、局所解より恐い鞍点、汎化と結びつく平坦な最小値まで、地形の言葉で一気につなぐ。

Identifying and attacking the saddle point problem in high-dimensional non-convex optimization

ボウルの底と、霧の山脈

目隠しをして、足元の傾きだけを頼りに一番低い場所を探す遊びを想像してください。

舞台がサラダボウルの内側なら簡単です。どこに立っていても「下り」の方向へ歩き続ければ、必ず底—それも唯一の底—に着きます。

舞台が霧のかかった山脈なら話は別です。歩いた先の窪地が本当に一番低い谷なのか、それとも小さな水たまりなのか、足元の傾きだけでは分かりません。尾根の上の奇妙な平坦地で、どちらへ進むべきか途方に暮れるかもしれません。

このボウルと山脈を数学の言葉で区別するのが凸性（とつせい）です。そして深層学習の損失面は、まぎれもなく山脈のほうです。それなのに勾配降下法—「足元の下りへ歩く」だけの方法—が実際にはうまくいく。この記事は、その謎を地形の言葉で解いていきます。

凸集合と凸関数 — 「へこみのない」形

まず土台の2つの定義から。どちらも「2点を結ぶ」だけの素朴な話です。

凸集合は、へこみのない領域のことです。集合 $C$ が凸であるとは、

言い換えると「$C$ の中のどの2点 $x, y$ を選んで直線で結んでも、その線分がまるごと $C$ に収まる」ということです。$\lambda$（ラムダ）は線分上の位置を表す0から1の割合です（0.5なら中間点）。円盤は凸、三日月は凸ではありません（線分が欠けた部分を横切るため）。

凸関数は、グラフが「お椀型」の関数です。関数 $f$ が凸であるとは、

言い換えると「グラフ上の2点を弦（直線）で結ぶと、グラフは必ず弦の下か弦上にある」ということです。左辺は「2点の混ぜ合わせ地点での関数の値」、右辺は「関数の値の混ぜ合わせ」つまり弦の高さ。お椀は弦より下にたわむ、という日常的な観察がそのまま定義になっています。$f(x)=x^2$ は凸、$\sin x$ は凸ではありません。

1変数で2回微分できるなら、判定はもっと簡単です。$f''(x) \ge 0$ がすべての点で成り立てば凸。つまり「傾きがずっと増え続ける（減りに転じない）」なら、お椀型だと保証されます。

凸だと何がうれしいのか

凸関数には、最適化にとって夢のような性質があります。

局所的な最小値は、必ず大域的な最小値である。

「これ以上どちらに動いても下がらない」場所を見つけたら、そこが正真正銘の一番底だと保証されるのです。ボウルの中では、水たまりにだまされる事態がそもそも起こりえません。理由も定義から素直に出ます。もし底Aより低い別の点Bがあったなら、AとBを結ぶ弦は途中でAより低くなり、Aの近くにもっと低い点が存在してしまう—「Aは局所最小」という前提と矛盾するからです。

さらに微分可能な凸関数では、次の一階の条件が成り立ちます。

言い換えると「どの点 $x$ で接平面（接線）を引いても、関数全体がその接平面より上にある」。$\nabla f(x)$（ナブラf）は点 $x$ での勾配、つまり最も急な上り方向を指すベクトルです。この式の強力さは、$\nabla f(x) = 0$ を代入すると右辺が $f(x)$ になり、「勾配がゼロの点は全域で最小」が一行で出るところにあります。

だから凸な問題—線形回帰やロジスティック回帰—では、勾配降下法はどこから出発しても同じ答えに着きます。まずはその「安心な世界」を体で確かめてください。

ここまでが教科書の前半、「凸なら解ける」の世界です。ところが深層学習は、この安心な世界の外に住んでいます。