longformer

長い文書を扱えるようにしたTransformer

1本の論文題名に登場

定義

全単語対を見る自己注意を、局所的なスライディングウィンドウと少数の全体参照トークンに置き換え、系列長に対し線形の計算量で長文を扱えるようにしたTransformer。Allen Institute for AIから公開され、512トークン前後で切られていたBERT系の制約を超えた。疎な注意の初期の代表例。

論文題名での読み方

固有名。長文用モデル