trillion

定義

1兆。パラメータ数や学習トークン数の桁を示すのに使われ、最前線のモデル規模を表す単位になっている。ただし Mixture-of-Experts では、総パラメータ数が兆に届いてもトークンごとに実際に使われるのは一部にすぎないため、総数と有効数を区別しないと運用コストを読み違える。

論文題名での読み方

兆規模の巨大さを示す

この語が出てくる解説

• Mixture of Experts (MoE) を1から解説 — Switch Transformerのルーティングと負荷分散Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity