ホーム › Lab
Interactive Lab
自己注意を、手で動かす
円卓に並んだ単語の間を、注意の重みが光となって飛びます。√d_k で割るのをやめると何が起きるか、因果マスクは何を遮るのか——スライダーを動かして確かめてください。
この可視化の正直な注意書き
計算しているのは論文どおりの scaled dot-product attention です。埋め込みだけは、注目先が読み取れるように8次元の玩具ベクトルを手で設計しています（学習済みモデルの重みではありません）。 arXiv:1706.03762 — https://arxiv.org/abs/1706.03762遊び方
- カードをクリック → その語をクエリにする（そこから光が飛ぶ）
- ドラッグ → 円卓を回す
- ヘッド番号を変える → 別の射影行列で見ると注目先が変わる
- 「√d_k で割る」を外す → softmaxが1点に潰れる（論文 脚注1 の主張）