transformer-based

Transformerを土台にした

2本の論文題名に登場

定義

Transformer アーキテクチャを土台にしていることを示す形容。self-attention と feed-forward 層の積み重ねという基本構造を共有し、位置符号化や正規化の位置、注意機構の効率化といった変更を加えた手法群を指す。対比は RNN-based や状態空間モデル(Mamba 系)などの非注意型。

論文題名での読み方

手法の基盤を示す