transformers

定義

自己注意機構を中核とする系列モデル構造の総称（複数形）。長い文脈を並列に扱えるため、言語・画像・音声・生物配列など分野を越えて標準的な骨格になった。同名の機械学習ライブラリ(Hugging Face transformers)を指す場合もあるので文脈で見分ける。

論文題名での読み方

現在の主流モデル構造

この語が出てくる解説

• 論文解説: Transformers Stop Thinking Too Early — 3行で止まる参照追跡を、1層のランク8 LoRAが50行へ伸ばすTransformers Stop Thinking Too Early, and a Tiny LoRA Fixes It
• 論文解説 Marigold V2 — 画像編集モデルを、32GB GPU 1枚で最強の深度推定器に変えるMarigold V2: Revisiting Diffusion Transformers for Monocular Depth Estimation
• 論文解説 SMELT — 「同じ層をもう一周」は、予算を揃えても得なのかSMELT: Scaling Laws for Compute-Matched MoE Looped Transformers