用語集 › transformer
GLOSSARY
transformer
Transformer。注意機構を軸にした基本構造
8本の論文題名に登場
定義
自己注意機構と位置ごとの全結合層を交互に重ね、残差接続と正規化を組み合わせた系列モデル構造。すべての位置の関係を1回の並列演算で扱えることが再帰型に対する決定的な利点で、長距離の依存も1手で届く。現在の大規模言語モデルや画像モデルの多くがこの型の変種。
論文題名での読み方
現在の主流モデル構造
この語が出てくる解説
- Attentionの変種図鑑 — MQA・GQA・スライディング窓・線形注意Fast Transformer Decoding: One Write-Head is All You Need