ここから話が言語処理の側に移る。そして最終的に画像に戻ってくる。

文章を扱うモデルは長らくRNN（再帰型ニューラルネット）が主流だった。単語を1つずつ順番に読み、内部状態を更新していく。だが2つの弱点があった。順番に処理するので並列化できず学習が遅い。そして遠く離れた単語同士の関係が保持されにくい。

Attentionの発想

2017年の論文「Attention Is All You Need」が提示したのは、順番に処理するのをやめて、すべての単語が他のすべての単語を直接参照するという構造だった。

仕組みはこうなる。各単語について3つのベクトルを作る。Query（何を探しているか）、Key（自分は何者か）、Value（自分が持っている情報）。ある単語のQueryを、他のすべての単語のKeyと照合し、似ている度合いに応じた重みを計算する。その重みで各単語のValueを混ぜ合わせ、新しい表現とする。