compute-optimal

計算量あたり最適な。同じ計算で最良の配分

3本の論文題名に登場

定義

使える計算量が決まっているとき、モデルサイズと学習トークン数の配分を最も性能が出る点に合わせること。この考え方が広まった結果、当時の大型モデルはパラメータに対して学習データが足りていなかったと理解されるようになった。推論費用を含まない基準なので、実運用では意図的に小さめのモデルを長く学習させることも多い。

論文題名での読み方

規模則の最適点を指す

この語が出てくる解説

スケーリング懐疑論 — 「大きくするだけ」批判の系譜Training Compute-Optimal Large Language Models
スケーリング則を1から解説 — なぜ大きくすると賢くなるのかTraining Compute-Optimal Large Language Models