#sparse-model

1 記事

01 ·論文解説·無料·論文·13分で読めます Mixture of Experts (MoE) を1から解説 — Switch Transformerのルーティングと負荷分散 Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity 巨大LLMを支える疎なアーキテクチャ「Mixture of Experts」を、Switch Transformer論文に沿って前提知識ゼロから解説。ルーターの数式、エキスパート容量、負荷分散損失、学習を安定させる3つの工夫まで、一次資料の数値だけで組み立てる。