用語集 › self-attention
GLOSSARY
self-attention
自己注意。文中の語同士の関係を測る仕組み
2本の論文題名に登場
定義
系列の各要素が同じ系列内のすべての要素との関連度を計算し、その重みで情報を集約する仕組み。各位置から query・key・value を作り、query と key の内積で重みを決めて value を加重和する。距離に関係なく任意の位置同士を1ステップで結べる点が RNN との決定的な違い。
論文題名での読み方
Transformerの中核