transformer

定義

自己注意機構と位置ごとの全結合層を交互に重ね、残差接続と正規化を組み合わせた系列モデル構造。すべての位置の関係を1回の並列演算で扱えることが再帰型に対する決定的な利点で、長距離の依存も1手で届く。現在の大規模言語モデルや画像モデルの多くがこの型の変種。

論文題名での読み方

現在の主流モデル構造

この語が出てくる解説

• 論文解説: Your Transformer Can Hold Two Thoughts at Once — 2本の文章を混ぜてもLLMは両方の続きを覚えているYour Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs
• 論文解説: FreeFlow — 専用部品ゼロの階層Transformerでオプティカルフローを解くFreeFlow: A Bias-free Hierarchical Transformer for Optical Flow Estimation
• Attentionの変種図鑑 — MQA・GQA・スライディング窓・線形注意Fast Transformer Decoding: One Write-Head is All You Need

教科書で学ぶ

• Attentionとトランスフォーマ
• ヘッドを分け、ブロックに組む ── Transformer の全体像