moe

定義

Mixture of Experts の略。層内に多数の専門家ネットワークを置き、ルーターが入力トークンごとに少数だけを動かすことで、総パラメータ数を増やしつつ1トークンあたりの計算量を抑える設計。総パラメータ数と実際に動く活性パラメータ数が大きく違うため、大きさの比較では両方を見る。

論文題名での読み方

巨大でも計算を節約

この語が出てくる解説

• 論文解説 SMELT — 「同じ層をもう一周」は、予算を揃えても得なのかSMELT: Scaling Laws for Compute-Matched MoE Looped Transformers
• 論文解説: FreeToken — 手元のPCを「一台の推論基盤」として使い切る帯域適応型MoEサービングFreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution