用語集 › laws
GLOSSARY
laws
法則（複数）。scaling laws＝規模の法則
4本の論文題名に登場
定義
経験的に観測される規則性のことで、この分野では scaling laws の形でほぼ固定的に使われる。モデル規模・データ量・計算量と性能の関係が滑らかなべき則で表せるという観測を指し、実際に訓練する前に投資対効果を見積もる根拠として使われる。物理法則のような必然ではなく、観測範囲での経験則である点に注意。
論文題名での読み方
scaling lawsで頻出
この語が出てくる解説
- 論文解説 SMELT — 「同じ層をもう一周」は、予算を揃えても得なのかSMELT: Scaling Laws for Compute-Matched MoE Looped Transformers