switch

定義

使う経路や部品を選び替えること。MoE の文脈では、Switch Transformer のようにトークンごとに専門家を1つだけ選んで通す設計を指し、複数を混ぜて足し合わせる方式より計算量を抑えられる。ネットワーク機器のスイッチと同じく「行き先を1つ選ぶ」という発想が名前の由来になっている。

論文題名での読み方

MoEの経路切替

この語が出てくる解説

• Mixture of Experts (MoE) を1から解説 — Switch Transformerのルーティングと負荷分散Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity