transformers

定義

自己注意機構を中核とする系列モデル構造の総称（複数形）。長い文脈を並列に扱えるため、言語・画像・音声・生物配列など分野を越えて標準的な骨格になった。同名の機械学習ライブラリ(Hugging Face transformers)を指す場合もあるので文脈で見分ける。

論文題名での読み方

現在の主流モデル構造

この語が出てくる解説

• 論文解説 SMELT — 「同じ層をもう一周」は、予算を揃えても得なのかSMELT: Scaling Laws for Compute-Matched MoE Looped Transformers
• エンコーダとデコーダ — BERTとGPTの分岐点BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
• 時系列にTransformerは効くのか — 論争と実務の答えAre Transformers Effective for Time Series Forecasting?