AIは何を「学習」しているのか — 直線1本で分かる機械学習【ゼロから学ぶAI 第1回】

「学習」の正体を、点5つと直線1本だけで最後まで計算します。外れ具合を1つの数にする損失、損失の谷を下る勾配降下法、学習率を上げすぎたときの発散、そして訓練データでは満点なのに外で破綻する曲線まで。数字はすべて手で検算できます。動画版つき。

このシリーズについて — 「ゼロから学ぶ AIと技術のしくみ」は、第1回から順に読めば（見れば）積み上がるように作った解説シリーズです。各回に同じ内容の動画版があります。この第1回は前提知識なしで読めます。

ルールを書く仕事から、例を見せる仕事へ

迷惑メールを見分けるソフトを作るとします。普通のプログラミングでは、「件名に『当選』があれば迷惑メール」のようなルールを人が書きます。ところが相手は表現を変えてきます。「ご当選」「当 選」……ルールは際限なく増えていきます。

機械学習は発想を裏返します。ルールを書く代わりに、答え付きの例をたくさん見せて、見分け方のほうを機械に作らせるのです。

では「機械がルールを作る」とは、具体的に何をしているのでしょうか。この記事では、点5つと直線1本だけで、それを最後まで計算してみます。

例: 勉強時間と小テストの点数

5人の生徒の、勉強時間と小テスト（20点満点）の点数です（説明のために作った架空のデータです）。

知りたいのは「勉強時間から点数を予想するルール」です。いちばん単純なルールとして、直線を考えます。

$$\hat{y} = w\,x$$

この式が言っているのは要するに、「点数は勉強時間に比例する」という仮説です。

記号を1つずつ見ます。$x$ は勉強時間（入力）、$\hat{y}$（ワイ・ハット）は予想した点数です。正解の点数 $y$ と区別するために帽子を付けています。$w$ は直線の傾きで、「1時間勉強すると何点上がるか」を表します。

この $w$ が、機械に決めさせたいつまみです。専門用語ではパラメータと呼びます。$w=1$ なら1時間で1点、$w=3$ なら1時間で3点。つまみを回すと直線の傾きが変わります。

（今回は話を簡単にするため、「0時間なら0点」の直線、つまり原点を通る直線だけを考えます。切片を入れた場合は最後に触れます。）

「学習」とは、データにいちばん合う $w$ を見つけることです。 では「いちばん合う」をどう測るのか。

外れ具合を1つの数にする: 平均二乗誤差

まず $w=1$ を試します。予想は $\hat{y} = 1, 2, 3, 4, 5$ 点。正解との差（正解 − 予想）は

$$2-1=1,\quad 5-2=3,\quad 5-3=2,\quad 7-4=3,\quad 11-5=6$$

です。この5つの差を、1つの数にまとめたい。数が1つなら「良くなった／悪くなった」が比べられるからです。

素直に足すとどうなるでしょう。実は危険です。$w=2$ で試すと、予想は $2, 4, 6, 8, 10$ 点、差は

$$0,\quad 1,\quad -1,\quad -1,\quad 1$$

で、足すと0になります。外れているのに「誤差0」と言ってしまう。プラスの外れとマイナスの外れが打ち消し合うからです。

そこで差を2乗してから足し、件数で割って平均にします。これが平均二乗誤差（MSE）です。

$$L = \frac{1}{N}\sum_{i=1}^{N}\left(y_i - \hat{y}_i\right)^2$$

この式が言っているのは要するに、「1人ずつ外れを2乗して、全員分を平均する」ということです。

記号を1つずつ。$L$ は損失（loss）＝外れ具合の数、$N$ はデータの件数（ここでは5）、$y_i$ は $i$ 番目の生徒の正解、$\hat{y}_i$ はその予想、$\sum$ は「$i=1$ から $N$ まで全部足す」記号です。

数字を入れます。

• $w=1$: 差の2乗は $1, 9, 4, 9, 36$。合計59、5で割って $L = 11.8$
• $w=2$: 差の2乗は $0, 1, 1, 1, 1$。合計4、5で割って $L = 0.8$

$w=2$ のほうがずっと小さい。つまり $w=2$ の直線のほうがデータに合っています。2乗には、大きな外れほど重く数える（差が2倍なら4倍）という性質もあります。

損失の地形: w を回すと L はどう変わるか

$w$ をいろいろ変えて $L$ を計算すると、次のようになります。

$w=2$ を底にした、左右対称の谷です。実はこの例では、式を展開すると $L$ はぴったり放物線になります。

$$L(w) = 11\,(w-2)^2 + 0.8$$

この式が言っているのは要するに、「$w$ が2から離れるほど、離れた距離の2乗に比例して損失が増える」ということです。

（$x$ の2乗の平均が11、$x$ と $y$ の積の平均が22、$y$ の2乗の平均が44.8 なので、$L = 11w^2 - 44w + 44.8 = 11(w-2)^2 + 0.8$ と整理できます。）

この式から2つのことが読めます。$w=2$ のとき $(w-2)^2=0$ なので損失は最小の 0.8。そして0.8より下には行けません。直線ではどう回しても、この5点を全部ぴったり通ることはできないからです。

ここまで来れば、学習は「損失の谷の、いちばん低い所を探すこと」と言い換えられます。

坂を下る: 勾配降下法

今回は式が分かっているので、谷底が $w=2$ だと一目で分かりました。しかし実際のAIでは、つまみは何百万、何十億個もあり、谷の全体像は誰にも見えません。見えるのは今いる場所の傾きだけです。

そこで、次の手順を繰り返します。

1. 今いる場所の傾きを測る
2. 傾きの逆向き（下り坂の向き）に、少しだけ $w$ を動かす

これが勾配降下法です。式にすると1行です。

$$w_{\text{新}} = w_{\text{旧}} - \eta \cdot \frac{dL}{dw}$$

この式が言っているのは要するに、「今の $w$ から、坂の向きと反対へ、坂の急さに比例した分だけ動く」ということです。

記号を1つずつ。$\frac{dL}{dw}$ は「$w$ を少し増やしたとき $L$ がどれだけ増えるか」の比率＝傾き（微分）です。$\eta$（イータ）は学習率で、1歩の大きさを決める数です。マイナスが付いているのは、傾きが正（右上がり）なら $w$ を減らし、負（右下がり）なら $w$ を増やす＝下り坂へ進むためです。

この例の傾きは、放物線の式を微分して

$$\frac{dL}{dw} = 22\,(w-2)$$

です。$w=0$ では $22 \times (0-2) = -44$。右下がりの急な坂です。

学習率 $\eta = 0.02$、出発点 $w=0$ で歩いてみます。

1歩目は $0 - 0.02 \times (-44) = 0.88$。損失は 44.8 から 14.60 へ一気に下がります。谷底に近づくほど坂が緩くなるので、歩幅も自然に小さくなります。

もう一歩踏み込むと、1歩ごとに起きていることが分かります。更新の式に傾きを入れると

$$w_{\text{新}} - 2 = (1 - 22\eta)\,(w_{\text{旧}} - 2)$$

となり、谷底との差が毎回 $(1-22\eta)$ 倍になるのです。$\eta=0.02$ なら $1 - 0.44 = 0.56$ 倍。差は $-2 \to -1.12 \to -0.627 \to \cdots$ と縮み、50歩でほぼ2.0に着きます。

学習率: 大きすぎると何が起きるか

歩幅を大きくすれば早く着くでしょうか。上の「差が $(1-22\eta)$ 倍」の式で確かめます。

• $\eta = 0.05$: 倍率は $1 - 1.1 = -0.1$。$w$ は $0 \to 2.2 \to 1.98 \to 2.002$。マイナスなので谷底を飛び越えて反対側に出ますが、差は毎回10分の1になり、すぐ収まります。
• $\eta = 0.1$: 倍率は $1 - 2.2 = -1.2$。$w$ は $0 \to 4.4 \to -0.88 \to 5.456 \to -2.147$。飛び越すたびに差が1.2倍に広がり、谷から放り出されます（発散）。

境目は倍率が $-1$ になる所、$\eta = 2/22 \approx 0.091$ です。これより大きい学習率では、この例は決して谷底に着きません。小さすぎれば着くまでに何千歩もかかります。学習率は、実際のAIの学習でも最初に調整する数の1つです。

つまみが何百万個あっても、やっていることは同じです。つまみ1個ごとに傾きを測り（それを並べたものを勾配と呼びます）、全部のつまみを少しずつ下り坂へ動かす。今回の1行の式が、そのまま大規模な学習の中心にあります。

コードで見る

ここまでの計算は、Pythonで数行です。

import numpy as np

x = np.array([1, 2, 3, 4, 5.0])   # 勉強時間
y = np.array([2, 5, 5, 7, 11.0])  # 点数

w = 0.0                            # 出発点
for step in range(50):
    grad = 2 * np.mean((w * x - y) * x)   # 傾き dL/dw
    w -= 0.02 * grad                      # 学習率 0.02 で下る
print(round(w, 4))                 # → 2.0

grad の行は、平均二乗誤差を $w$ で微分した式 $\frac{2}{N}\sum(\hat{y}_i - y_i)\,x_i$ をそのまま書いたものです。$w=0$ で計算すると $-44$ になり、上の表の1歩目と一致します。

覚えるのと分かるのは違う

最後に、もっと「データに合う」ルールを作ってみます。直線ではなく、5点を全部ぴったり通る曲線（4次式）です。

$$\hat{y} = -\tfrac{5}{24}x^4 + \tfrac{35}{12}x^3 - \tfrac{331}{24}x^2 + \tfrac{325}{12}x - 14$$

この式が言っているのは要するに、「つまみを5個に増やして、5人の点をすべて通るように合わせた曲線」です。

この曲線は5点すべてを通るので、5人のデータでの損失は0。直線の0.8より「良い」はずです。

ところが、データに無い所で何を予想するかを計算すると

• 0時間勉強した人: 直線は 0点、曲線は −14点
• 7時間勉強した人: 直線は 14点、曲線は 0点

曲線は、手元の5人を丸暗記しただけで、勉強時間と点数の関係を捉えていません。手元のデータでの損失を小さくすることは手段であって、目的はまだ見ていないデータで当たることです。この「丸暗記してしまう」現象を過学習と呼びます。どうやって見抜き、どう防ぐかは次の回で扱います。

切片を入れたら？

今回は「0時間なら0点」の直線だけを考えました。切片 $b$ を足して $\hat{y} = wx + b$ にすると、つまみが2つになり、損失の谷は放物線ではなくお椀の形（2次元の谷）になります。それでも手順は同じで、$w$ と $b$ それぞれの傾きを測って下るだけです。このデータでは、お椀の底も $w=2,\ b=0$ にあります（たまたま原点を通る直線が最良になるデータです）。

現場ではこう使う

この記事の手順（損失を決める → 傾きを測る → 学習率の分だけ下る → 手元に無いデータで確かめる）は、データサイエンティストや機械学習エンジニアが新しい予測課題で最初の基準モデルを作るときに、そのまま出てきます。複雑なモデルに進む前に、まず直線（線形回帰）で損失がどこまで下がるかを測っておくと、後のモデルが本当に良くなったのかを比べられます。

実際に触る名前

• scikit-learn の LinearRegression: 引数 fit_intercept の既定は True（切片あり）。この記事のように原点を通る直線にしたいときだけ False にします
• scikit-learn の SGDRegressor: 勾配降下法で線形モデルを当てます。1歩の大きさは eta0、その減らし方は learning_rate で決めます
• PyTorch: 損失は torch.nn.MSELoss()（既定で平均を取る＝この記事の $L$ と同じ）、更新は torch.optim.SGD(params, lr=...)。lr がこの記事の $\eta$ です
• NumPy の numpy.polyfit(x, y, deg): deg を上げると、この記事の4次曲線のような「全部の点を通る曲線」が1行で作れてしまいます

知らないと事故になる落とし穴

• 入力の単位を変えただけで発散する。 この例の境目 $\eta \approx 0.091$ は、$x^2$ の平均（11）で決まっていました（境目は $1/11$）。勉強時間を「分」で入れると $x$ は60倍、$x^2$ の平均は3600倍（39600）になり、同じ $\eta = 0.02$ でも倍率は $1 - 2 \times 0.02 \times 39600 = -1583$。初手から発散します。入力の大きさをそろえて（標準化して）から学習するのはこのためです（Efficient BackProp でも入力の正規化を勧めています）
• 損失が nan や inf になったら、まず学習率を疑う。 $\eta = 0.1$ の例のように $w$ が往復しながら大きくなり続けると、やがて数値が表せる範囲を超えます
• 手元のデータでの損失だけで良し悪しを決めない。 点が5個なら、polyfit の次数を4まで上げるだけで訓練データの損失は0になります。評価は学習に使っていないデータで行います（分け方は第2回）

面接・実務で問われる問い

• 「学習を回したら損失が下がらず、途中から増え始めた。何を確かめるか」 — 筋道: まず学習率を下げて再実行し、下がるかを見る。下がるなら、歩幅が谷の曲がり具合に対して大きすぎた（この記事の倍率 $|1 - 22\eta| > 1$ の状態）。次に、入力の大きさがそろっているかを見る
• 「訓練データでの誤差が0のモデルを作った。良いモデルか」 — 筋道: それだけでは分からない。学習に使っていないデータで測り、訓練との差が大きければ過学習を疑う
• 「なぜ誤差を2乗するのか。足すだけでは駄目なのか」 — 筋道: この記事の $w=2$ の例で、足すと0になってしまうことを示す。2乗すれば打ち消し合わず、大きな外れほど重く数えられる

まとめ

• 学習とは、例のデータに合うようにパラメータ（つまみ）の値を決めること
• 合い具合は損失で測る。回帰では、差を2乗して平均した平均二乗誤差が基本
• 谷底は勾配降下法で探す。傾きの逆向きに、学習率の分だけ少しずつ動く。学習率が大きすぎると発散する
• 手元のデータで損失0でも、外で当たるとは限らない（過学習）

次回（第2回）: 覚えるのと分かるのはどう違うのか — 訓練・検証・テストの分け方と、過学習の見抜き方。

もっと詳しく

• 機械学習とは何か — 教師あり・教師なし・強化学習の地図
• 損失関数と最適化 — 分類で使う交差エントロピー、SGD
• 勾配降下法 — 峡谷・鞍点・学習率の天井をもう一段詳しく