multi-head

多頭。注意を複数並列に走らせる仕組み

2本の論文題名に登場

定義

注意機構を一つではなく複数並列に走らせ、それぞれ別の部分空間で関連を計算してから結果を結合する仕組み。一つの注意分布では一種類の関係しか強調できないため、ヘッドごとに異なる関係を捉えられるという発想で、Transformer の標準構成になっている。ヘッド数を増やしても総計算量が変わらないよう、次元は分割して割り当てる。

論文題名での読み方

Transformerの基本部品