用語集 › compute-matched
GLOSSARY
compute-matched
計算量をそろえて比べた
1本の論文題名に登場
定義
比較する手法どうしに同じ計算予算を与えたうえで結果を並べたことを示す条件表示。単に高いスコアを出しただけでは計算を多く使っただけかもしれないため、この条件を明示して初めて手法自体の効率を主張できる。パラメータ数をそろえる比較とは別物で、同じ規模でも学習量や推論時の反復回数で計算量は大きく変わる。
論文題名での読み方
公平比較の条件
この語が出てくる解説
- 論文解説 SMELT — 「同じ層をもう一周」は、予算を揃えても得なのかSMELT: Scaling Laws for Compute-Matched MoE Looped Transformers