スケーリング則を1から解説 — なぜ大きくすると賢くなるのか

「モデルを大きくすれば賢くなる」を数式にしたのがスケーリング則。Kaplan則からChinchilla論文（Hoffmann et al., 2022）への転換を、400本超の実験・3つの推定法・70B対280Bの直接対決まで、論文本文だけを根拠に1から解説する。

Training Compute-Optimal Large Language Models

予算は先に決まっている。さて、どう配分するか

受験までの勉強時間が1000時間と決まっているとします。分厚い参考書を1冊だけ完璧にするか、薄い参考書で大量の過去問を回すか — 総時間が同じでも、配分次第で結果は変わります。

大規模言語モデル（LLM）の学習もこれと同じ構造です。GPUを何台、何日使えるかが決まれば、使える総計算量（FLOPs：浮動小数点演算の回数）は事前にほぼ決まります。その予算を「モデルの大きさ」に使うか「読ませるデータの量」に使うかは、トレードオフです。大きいモデルはデータ1件あたりの計算が重いので、同じ予算なら読める量が減ります。しかも巨大モデルの学習は事実上1回勝負。走らせる前に配分を決めなければなりません（§1）。

この配分問題に正面から答えたのが、DeepMindの論文 "Training Compute-Optimal Large Language Models"（Hoffmann et al., 2022）、通称 Chinchilla論文です。この記事はこの論文だけを根拠に、スケーリング則の考え方を前提知識ゼロから解説します。

「大きくすれば賢くなる」— Kaplan則の時代

出発点は2年前に遡ります。Kaplan et al.（2020）は、言語モデルのパラメータ数と性能（損失）の間にべき乗則（power law）が成り立つことを示しました。桁で大きくすれば、予測可能なペースで損失が下がる — この発見以降、業界は競うようにモデルを巨大化させます（§1, §2）。

Kaplanらの分析はさらに踏み込み、「計算予算が10倍になったら、モデルサイズを5.5倍、学習トークン数は1.8倍にせよ」という配分まで示しました（§1）。つまり予算の増分はほぼ全部モデルの大型化に回せ、という処方箋です。実際、論文のTable 1にある通り、GPT-3（175B）・Jurassic-1（178B）・Gopher（280B）・MT-NLG（530B）と、モデルは3年で3倍以上に巨大化した一方、学習トークン数はどれも約3000億でほぼ据え置きでした。

Chinchilla論文の主張は一言で言えば「この配分は間違っていた。いまの大規模モデルは軒並み"学習不足"だ」です（Abstract）。

配分問題を1本の式にする

論文はまず、問いを数式として定義します。最終的な事前学習の損失 $L$ を、パラメータ数 $N$ と学習トークン数 $D$ の関数 $L(N, D)$ と見なし、計算予算 $C$ の制約の下で最小化します（§1）。

記号を1つずつ読み解くと：$N$ はモデルのパラメータ数（脳の大きさ）、$D$ は学習に使うトークン数（読ませる文章の量）、$C$ は使える総計算量です。式全体は「計算量がちょうど $C$ になる $(N, D)$ の組み合わせの中で、損失 $L$ が最も小さくなる組を探せ」と言っているだけです。$N_{opt}$ と $D_{opt}$ が、その予算での最適なモデルサイズと最適なデータ量になります。

ここで便利な近似が、学習FLOPsの見積もり式です（§3.3）。

$$C \approx 6ND$$

つまり総計算量は「パラメータ数×トークン数×6」でほぼ決まる、ということです（係数6の内訳は順伝播で2、逆伝播でその2倍。付録Fで丁寧に検算されており、正確な計算との差は数%以内でした）。この式のおかげで、予算 $C$ を固定すると $N$ と $D$ は反比例の関係になり、「配分」の意味がはっきりします。