Attentionこそが全て

系列変換モデルの主流は、エンコーダとデコーダを備えた複雑な再帰型または畳み込み型のニューラルネットワークである。最も性能の良いモデルは、さらにエンコーダとデコーダをattention機構で結んでいる。

論文のAbstractは「既存はこうだ」から始まるのが定型。dominant は「支配的な＝主流の」で、good/popular とは違い『いま一番使われている』という事実の指摘に留める語。ここではまだ批判していない点に注目。次の文の The best performing models also … が「一番強いやつでさえ attention を“付け足し”で使っているだけだ」という伏線になっている。

本稿では、attention機構のみに基づく新しい単純なネットワーク構造、Transformerを提案する。再帰も畳み込みも完全に取り払う。

この論文で最も重要な一文。主張は We propose … で始まり、new simple の simple が効いている（複雑さで勝つのではなく捨てて勝つ、という宣言）。solely（〜だけに基づく）と entirely（完全に）で二重に「例外なし」を強調しているのがタイトル Attention Is All You Need と対応する。dispense with は「〜なしで済ませる」で、remove より「そもそも要らない」というニュアンスが強い。

2つの機械翻訳タスクでの実験により、これらのモデルが品質で優れ、しかも並列化しやすく、学習時間が大幅に短いことが示された。

show X to be Y は「XがYであることを示す」という論文頻出の構文。ここで注意すべきは while 以下で、著者は精度だけでなく『並列化のしやすさ』と『学習時間』を同格の成果として並べている。つまりこの論文はモデル論文であると同時に計算資源の論文でもある——GPUの使い方が変わった、という後の歴史はこの一文に含意されている。

本モデルはWMT 2014の英独翻訳タスクで28.4 BLEUを達成し、アンサンブルを含む既存の最高結果を2 BLEU以上上回った。

improving over … by over 2 BLEU の by は差分を表す by（「2ポイント分」）。including ensembles をわざわざ挿入しているのは、単一モデルが複数モデルの合議にまで勝った、という強い主張のため。翻訳の世界で2 BLEUは大差で、著者はそれを知っている読者に向けてこの数字だけを置いている。

WMT 2014の英仏翻訳タスクでは、8基のGPUで3.5日学習した後、単一モデルとしての新たな最高スコア41.8 BLEUを打ち立てた。これは文献中の最良モデルの学習コストのごく一部にすぎない。

establishes a new … state-of-the-art は「新記録を打ち立てる」の完全な定型句。読み飛ばしてよい。むしろ精読すべきは後半 a small fraction of the training costs で、これは直前の名詞句全体を言い換える同格表現（「3.5日×8GPU、それは既存の学習コストのごく一部だ」）。single-model と限定を付けている点も見落とさないこと——アンサンブルは含まない、という自己抑制。なお本文6.1では同じ英仏の結果が41.0と書かれており、Abstractおよび表2の41.8と食い違う（原論文のまま）。

さらにTransformerが他のタスクにもよく一般化することを、英語の構文解析に——大規模データでも限られたデータでも——適用して成功させることで示す。

generalize well to は「〜にもうまく通用する」。翻訳専用の道具ではないと言いたい一文で、実際この主張が後年あらゆる分野への転用を正当化した。both with large and limited training data という但し書きが重要で、『データが少ないと弱い』という当時のRNN系への批判（本文6.3で明言される）を先回りして潰している。

再帰型モデルは通常、計算を入力列・出力列の記号位置に沿って分解する。位置を計算のタイムステップに対応させ、直前の隠れ状態 h_{t-1} と位置 t の入力の関数として、隠れ状態の列 h_t を生成していく。

factor computation along … は「計算を〜に沿って分解する」。数学の因数分解 factor がそのまま動詞で使われている、論文特有の言い回し。Aligning the positions to steps in computation time（語の位置＝計算の時刻に揃える）が、次段落の批判の核心を先に定義している——つまり著者は「位置と時間を同一視したこと」自体を問題にしていく。

この本質的に逐次的な性質が、1つの学習事例の内部での並列化を妨げる。系列が長くなるほどこれは深刻になる。メモリの制約によって、事例をまたいでバッチにまとめることにも限界があるからだ。

この論文で最も重要な問題提起の一文。preclude は prevent より硬く「原理的に排除する」の意で、工夫すれば直る話ではないという含み。within training examples（1文の内部で）と across examples（複数の文をまたいで）の対比が肝で、「文の中で並列化できない分を、たくさんの文を同時に流して埋めればいい」という当然の反論を、as以下のメモリ制約で先に封じている。GPUを埋められないという、ハードウェア側の論点。

attention機構は、さまざまなタスクで有力な系列モデリング・系列変換モデルに欠かせない要素となっており、入力列・出力列における距離に関係なく依存関係をモデル化できる。しかし、ごく一部の例外を除けば、そうしたattention機構は再帰型ネットワークと併用されている。

however の位置が読みどころ。前半でattentionを褒めておいて、後半で「でもみんなRNNと“一緒に”使っている」と落とす。in conjunction with（〜と併用して）が批判の的で、著者は次の段落で『併用をやめる』と宣言する。In all but a few cases は「ごく少数の例を除きすべて」＝ほぼ全部、の言い方で、all but は「〜以外すべて」。not all と読み違えないこと。

本研究では、再帰を捨て、代わりに入力と出力の間の大域的な依存関係を引き出すためにattention機構のみに全面的に依拠するモデル構造、Transformerを提案する。Transformerは並列化を大幅に進められ、8基のP100 GPUでわずか12時間学習しただけで、翻訳品質の新たな最高水準に到達できる。

In this work we propose … は貢献を述べる決まり文句で、Introductionの最後に必ず来る。ここを見つければ論文の主張が1文で取れる。eschew（避ける、捨てる）はやや文語的な語で、Abstractの dispense with の言い換え。as little as twelve hours は「たったの12時間」で、as little as は数値を小さく見せる強調表現——著者が計算コストを売りにしていることがここでも分かる。

self-attention（自己注意）は、intra-attentionとも呼ばれ、単一の系列内の異なる位置どうしを関係づけて、その系列の表現を計算するattention機構である。

この論文における self-attention の定義文。a single sequence（1つの系列の中で）が、翻訳の原文と訳文のような2つの系列をまたぐ従来のattentionとの違い。定義を述べる文では is が主動詞になるので、長い挿入（sometimes called intra-attention）を飛ばして骨格 Self-attention … is an attention mechanism relating … を取る読み方が有効。

しかし我々の知る限り、Transformerは、系列に沿ったRNNや畳み込みを使わずに、入力と出力の表現の計算を完全にself-attentionのみに依拠する初めての系列変換モデルである。

To the best of our knowledge（我々の知る限り）は新規性を主張するときの保険つき定型句。「初めてだ」と断言せず、後から先行研究が出ても嘘にならないようにする作法なので、論文を書く側になったときにも使う。the first … relying entirely on … without using … と、肯定（entirely）と否定（without）で新規性の範囲を厳密に切っている点を追うこと。