sparsity

定義

要素の大半がゼロであるか、一度に使われるのがごく一部にとどまる性質。重みの枝刈り、注意行列の疎化、MoE で一部の専門家しか起動しない設計など、計算とメモリを削る手法の共通の土台になる。ただし疎であることと実機で速いことは別で、ハードウェアが扱える構造化された疎性かどうかが問われる。

論文題名での読み方

計算を省く鍵

この語が出てくる解説

• Mixture of Experts (MoE) を1から解説 — Switch Transformerのルーティングと負荷分散Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity