第6章で注意機構を1つだけ見ました。残っているのは2つです。なぜ複数に分けるのかと、その部品がどう組まれて1つのブロックになるのか。

この章で第III部の道具はそろいます。第1章から積み上げてきたもの——差を下まで届ける仕掛け（第3章）、止める場所（第4章）、構造に埋める前提（第5章）、どこを見るかを入力が決める仕掛け（第6章）——が、1つの図に収まります。

1. ヘッドを分ける理由は、パラメータではない

まず、増えないことを確認します。$d_{\text{model}} = 512$ を $h$ 個に割って各ヘッドを $d_k = 512/h$ とすると、$W_Q, W_K, W_V, W_O$ の合計は

どれも同じ。 幅を分けているだけなので、ヘッドを増やしても減らしても総数は動きません。では何のために分けるのか。

理由は softmax の形にあります。1つの softmax の出力は合計が1です（第0部の第3章のカテゴリカル分布）。だから、1つのヘッドで $k$ か所を同時に強く見ることはできません。2か所を狙えば、1か所あたり最大 0.5。3か所なら 0.333。

どの狙いにも保証できる重みは $1/\lceil k/h \rceil$ です。ヘッドは丸ごと割り当てるので、平均の取り分 $h/k$ にはなりません——$k=3,\ h=2$ なら 0.667 ではなく 0.500（2つ担当するヘッドが出るため）。ヘッドを増やすことは、同時に狙える場所の数を増やすことでした。

2. 因果マスク ── 未来を隠したことを確かめる

文章を左から生成するモデルでは、位置 $t$ の出力が $t+1$ 以降を見てはいけません。やることは単純で、$QK^{\top}$ の上三角を $-\infty$ にしてから softmax を通します。

本当に見ていないかは測れます。位置 $j$ の入力を少し動かして、位置 $t$ の出力がどれだけ動くかを中心差分で見ます（第0部の第2章の式(2)）。

厳密に0です。 $-\infty$ を通した softmax の出力がちょうど0になり、そこから先に勾配も流れません。マスクは「見ないようにお願いする」のではなく、経路を塞いでいます。

3. ブロックに組む

Transformer の1ブロックは、第6章までに出た部品だけでできています。