optimal

定義

定められた制約のもとで最も良いことを指す語で、何を固定したかを確認せずに読むと誤解しやすい。compute-optimal は総計算量を固定したときにモデルサイズと学習トークン数をどう配分すべきかという話で、推論コストは考慮されていない。実運用では学習が最適でない配分の方が有利なこともある。

論文題名での読み方

最良であること

この語が出てくる解説

• スケーリング懐疑論 — 「大きくするだけ」批判の系譜Training Compute-Optimal Large Language Models
• 最適輸送 — 分布を運ぶ数学Sinkhorn Distances: Lightspeed Computation of Optimal Transport
• スケーリング則を1から解説 — なぜ大きくすると賢くなるのかTraining Compute-Optimal Large Language Models