用語集 › size
GLOSSARY
size
大きさ。規模（モデルやバッチの）
2本の論文題名に登場
定義
何の規模かによって意味が変わる語で、モデルサイズ（パラメータ数）、バッチサイズ、データセットサイズ、コンテキストサイズなどを指す。スケーリング則の議論ではこれらが性能を決める主要な軸になるため、どの size の話かを取り違えないことが読解の要点になる。MoE では総パラメータ数と活性パラメータ数で「サイズ」が二重になる。
論文題名での読み方
batch size／model size