2026-08-13·無料·論文·11分で読めます

スケーリング則を1から解説 — なぜ大きくすると賢くなるのか

「モデルを大きくすれば賢くなる」を数式にしたのがスケーリング則。Kaplan則からChinchilla論文（Hoffmann et al., 2022）への転換を、400本超の実験・3つの推定法・70B対280Bの直接対決まで、論文本文だけを根拠に1から解説する。

要点

スケーリング則は損失がモデルサイズとデータ量のべき乗で下がる経験則で、配分問題は C≈6ND の制約付き最小化として書ける。
Chinchilla論文は400本以上のモデルと3つの独立な方法で、最適配分を推定した。
計算予算が増えたら、モデルサイズと学習データ量を同じ比率で増やすのが最適で、Kaplanらの a=0.73, b=0.27 とは食い違う。
70Bパラメータを1.4兆トークンで学習したChinchillaは、同じ計算予算の280BのGopherをMMLUで67.6%対60.0%と上回った。
論文自身が限界も明記しており、大規模比較はChinchilla対Gopherの1組のみで、全実験が1エポック未満、最適モデルサイズを過大評価している可能性もある。

#scaling-laws #llm #chinchilla #compute-optimal #paper-review

対象textタスクbasics

Training Compute-Optimal Large Language Models

一次資料 — この記事の根拠

論文の発表 2022-03-29→この解説の公開 2026-08-134年5か月後

Training Compute-Optimal Large Language ModelsJordan Hoffmann, Sebastian Borgeaud, Arthur Mensch ほか · 2022-03-29 · v1arXiv:2203.15556論文ページ·PDF

原文の要旨（Abstract）を読む

We investigate the optimal model size and number of tokens for training a transformer language model under a given compute budget. We find that current large language models are significantly undertrained, a consequence of the recent focus on scaling language models whilst keeping the amount of training data constant. By training over 400 language models ranging from 70 million to over 16 billion parameters on 5 to 500 billion tokens, we find that for compute-optimal training, the model size and the number of training tokens should be scaled equally: for every doubling of model size the number of training tokens should also be doubled. We test this hypothesis by training a predicted compute-optimal model, Chinchilla, that uses the same compute budget as Gopher but with 70B parameters and 4$\times$ more more data. Chinchilla uniformly and significantly outperforms Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), and Megatron-Turing NLG (530B) on a large range of downstream evaluation tasks. This also means that Chinchilla uses substantially less compute for fine-tuning and inference, greatly facilitating downstream usage. As a highlight, Chinchilla reaches a state-of-the-art average accuracy of 67.5% on the MMLU benchmark, greater than a 7% improvement over Gopher.

予算は先に決まっている。さて、どう配分するか

受験までの勉強時間が1000時間と決まっているとします。分厚い参考書を1冊だけ完璧にするか、薄い参考書で大量の過去問を回すか — 総時間が同じでも、配分次第で結果は変わります。

大規模言語モデル（LLM）の学習もこれと同じ構造です。GPUを何台、何日使えるかが決まれば、使える総計算量（FLOPs：浮動小数点演算の回数）は事前にほぼ決まります。その予算を「モデルの大きさ」に使うか「読ませるデータの量」に使うかは、トレードオフです。大きいモデルはデータ1件あたりの計算が重いので、同じ予算なら読める量が減ります。しかも巨大モデルの学習は事実上1回勝負。走らせる前に配分を決めなければなりません（§1）。

この配分問題に正面から答えたのが、DeepMindの論文 "Training Compute-Optimal Large Language Models"（Hoffmann et al., 2022）、通称 Chinchilla論文です。この記事はこの論文だけを根拠に、スケーリング則の考え方を前提知識ゼロから解説します。

「大きくすれば賢くなる」— Kaplan則の時代

出発点は2年前に遡ります。Kaplan et al.（2020）は、言語モデルのパラメータ数と性能（損失）の間にべき乗則（power law）が成り立つことを示しました。桁で大きくすれば、予測可能なペースで損失が下がる — この発見以降、業界は競うようにモデルを巨大化させます（§1, §2）。

Kaplanらの分析はさらに踏み込み、「計算予算が10倍になったら、モデルサイズを5.5倍、学習トークン数は1.8倍にせよ」という配分まで示しました（§1）。つまり予算の増分はほぼ全部モデルの大型化に回せ、という処方箋です。実際、論文のTable 1にある通り、GPT-3（175B）・Jurassic-1（178B）・Gopher（280B）・MT-NLG（530B）と、モデルは3年で3倍以上に巨大化した一方、学習トークン数はどれも約3000億でほぼ据え置きでした。

Chinchilla論文の主張は一言で言えば「この配分は間違っていた。いまの大規模モデルは軒並み"学習不足"だ」です（Abstract）。

配分問題を1本の式にする

論文はまず、問いを数式として定義します。最終的な事前学習の損失 $L$ を、パラメータ数 $N$ と学習トークン数 $D$ の関数 $L(N, D)$ と見なし、計算予算 $C$ の制約の下で最小化します（§1）。

N_{opt}(C),\ D_{opt}(C) = \operatorname*{argmin}_{N,\,D\ \text{s.t.}\ \mathrm{FLOPs}(N,D)=C} L(N,D)

(1)

記号を1つずつ読み解くと： $N$ はモデルのパラメータ数（脳の大きさ）、 $D$ は学習に使うトークン数（読ませる文章の量）、 $C$ は使える総計算量です。式全体は「計算量がちょうど $C$ になる $(N, D)$ の組み合わせの中で、損失 $L$ が最も小さくなる組を探せ」と言っているだけです。 $N_{opt}$ と $D_{opt}$ が、その予算での最適なモデルサイズと最適なデータ量になります。

ここで便利な近似が、学習FLOPsの見積もり式です（§3.3）。

$C \approx 6ND$

つまり総計算量は「パラメータ数×トークン数×6」でほぼ決まる、ということです（係数6の内訳は順伝播で2、逆伝播でその2倍。付録Fで丁寧に検算されており、正確な計算との差は数%以内でした）。この式のおかげで、予算 $C$ を固定すると $N$ と $D$ は反比例の関係になり、「配分」の意味がはっきりします。

FIG 1損失を「2つの変数の関数」として眺めると等高線の地形になる。Chinchilla論文がやったのは、モデルサイズNとデータ量Dを軸にこの地形を実測し、同じ計算予算の線上で最も低い場所を探すことだった。まずはこの図で「2変数の損失の地形」の感覚を掴んでほしい

400本のモデルで地形を実測する — 3つの推定法

問題は $L(N, D)$ の形を誰も知らないことです。論文は7000万〜160億パラメータのモデルを400本以上、50億〜数千億トークンで学習させ、3つの独立な方法で最適配分を推定しました（Abstract, §3）。

方法1：モデルサイズを固定し、学習の長さを変える（§3.1）。各サイズのモデルを4通りの学習期間で走らせ、「各FLOPs値で最も損失が低かった走らせ方」の包絡線を取ります。そこにべき乗則 $N_{opt} \propto C^a$ 、 $D_{opt} \propto C^b$ を当てはめると、 $a = 0.50$ 、 $b = 0.50$ 。

方法2：IsoFLOP（等計算量）プロファイル（§3.2）。今度は計算予算を9通りに固定し、その予算内でモデルサイズだけを振ります。予算ごとに損失を並べるとU字の谷ができ、谷底が「その予算での最適サイズ」です。谷底に放物線を当てはめて推定すると、 $a = 0.49$ 、 $b = 0.51$ 。

方法3：損失関数そのものをモデル化する（§3.3）。全実験の最終損失に、次の関数形を当てはめます。

\hat{L}(N,D) = E + \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}}

(2)

3つの項にはそれぞれ意味があります。 $E$ は「理想の生成プロセスでも残る損失」で、自然言語そのもののエントロピー（本質的な予測不可能性）に対応します。第2項は「パラメータ数 $N$ が有限であることによる損」、第3項は「データ $D$ が有限で、収束まで学習しきれないことによる損」です。当てはめの結果は $E = 1.69$ 、 $A = 406.4$ 、 $B = 410.7$ 、指数は $N^{0.34}$ と $D^{0.28}$ でした（§D.2）。この式から導かれる最適配分は $a = 0.46$ 、 $b = 0.54$ 。

結論：モデルとデータは「等分」で増やす

3つの方法は、使ったモデルも当てはめ方も違うのに、ほぼ同じ答えに収束しました。計算予算が増えたら、モデルサイズと学習データ量を同じ比率で増やす（ $a \approx b \approx 0.5$ ）。モデルを2倍にするなら、データも2倍です（Abstract, §3.4）。Kaplanらの $a = 0.73, b = 0.27$ とは明確に食い違います（Table 2）。

なぜ先行研究と答えが違ったのか。論文は主な理由を2つ挙げています（§2）。第一に、Kaplanらは全モデルで学習トークン数と学習率スケジュールを固定していました。Chinchilla論文は、コサイン型の学習率減衰の周期を実際の学習の長さに合わせないと最終損失が悪化することを示しています（周期を25%以上長く取りすぎると明確に劣化。付録B）。途中経過の損失で比較すると、短い学習の実力を過小評価してしまうのです。第二に規模の違いで、Kaplanらの実験は1億パラメータ未満のモデルが中心でしたが、本論文は大半が5億超のモデルです（§2）。

N_{opt} \propto C^{0.5}, \qquad D_{opt} \propto C^{0.5}

(3)

言い換えると「予算が4倍になったら、モデルを2倍・データを2倍にせよ」。この関係は学習データをC4やGitHubコードに替えても、ほぼ同じ指数で再現されました（付録C）。さらに $10^{21}$ FLOPsの予算で直接対決も行っています。Kaplan則のサイズ推奨に沿った47.4億パラメータのモデルと、自分たちの推定に沿った28.0億のモデルを同予算で学習させると、小さい方が勝ちました（付録D.4）。

FIG 2学習率が大きすぎれば発散し、下げ方が学習の長さに合っていなければ谷底まで降りきれない。Kaplan則との結論の差を生んだ一因は、この「学習率をいつどう下げるか」を各実験の長さに合わせたかどうかだった（§2・付録B）

実証：70BのChinchillaが280BのGopherを倒す

推定が正しいなら、Gopher（280Bパラメータ、300Bトークン）に使った予算 $5.76 \times 10^{23}$ FLOPsでの最適モデルは40〜70Bのはずです（§4）。論文はこの範囲の上端を選び、70Bパラメータのモデルを1.4兆トークンで学習させました。Gopherの4分の1のサイズ、4倍のデータ、同じ計算予算。これがChinchillaです。アーキテクチャはGopherとほぼ共通で、差分はAdamWの採用、トークナイザの微修正、最適化器状態にfloat32の重みコピーを持つことなど僅かです（§4.1）。

結果は一方的でした。57科目の学力テストにあたるMMLUでは平均67.6%で、Gopherの60.0%を7.6ポイント上回り、専門家予測者が「2023年6月のSOTA」と見積もっていた63.4%すら先回りして超えました（§4.2.2）。BIG-bench 62タスクの平均でも65.1%対54.4%（§4.2.4）、読解のRACE-hでは10ポイント超の改善（§4.2.3）。言語モデリング指標でもThe Pileの全19サブセットでGopherに勝ちますが、こちらは学習データが4倍ある分テストとの重複が結果を押し上げている可能性があり、論文自身が注意を促しています（§4.2.1）。

見逃せないのは推論コストです。Chinchillaは同じ予算・上位の性能でありながら本体が4分の1なので、学習後の推論・ファインチューニングのコストとメモリも大幅に軽くなります（§4）。学習時の1回きりの最適化が、その後の運用コスト全体に効いてくるわけです。

論文の限界 — 何がまだ検証されていないか

論文は限界も明記しています（§5）。まず、大規模での比較はChinchilla対Gopherのたった1組で、中間スケールでの検証はありません。次に、全体がべき乗則という仮定の上に立っていますが、高予算側では最適サイズの対数にわずかな凹みが観測されており、最適モデルサイズをまだ過大評価している可能性があります（付録E）。また全実験がデータ1周（1エポック）未満の設定で、同じデータを繰り返し使う領域は未検証です。「データを増やすほど良いのは高品質なデータに限られるだろう」という指摘も、論文自身がspeculative（推測）と断っています。バイアスや有害出力については、同じデータで学習したGopherと概ね同水準でした（§4.2.7）。

現場ではこう使う

スケーリング則が直接効くのは、事前学習や継続事前学習の計画を立てる場面です。LLMを訓練するMLエンジニアや研究者が、GPU確保の稟議を書く前に電卓を叩くための道具になります。

予算からの逆算: GPU時間×チップのFLOP/s×稼働効率で総予算 $C$ を出し、 $C \approx 6ND$ に入れると $(N, D)$ の取り得る組が決まります。論文のTable 3を割り算すると、最適点は概ね「パラメータ1個あたり20トークン」前後（10Bモデルなら約205Bトークン、70Bなら1.4T）。これは論文の数表から導ける実務上の目安です。
スケジューラの落とし穴: 学習率のコサイン減衰の周期（フレームワークの max_steps や T_max に相当する値）を、実際に回すステップ数に一致させること。論文では周期を25%以上長く設定しただけで最終性能が明確に劣化しました（付録B）。「とりあえず長めに設定して途中で止める」はスケーリング則以前の事故です。
推論コストは式の外: 論文の最適化は学習FLOPsだけが対象です。大量のユーザーにサービングするなら、推論費用まで含めた損益は別に計算する必要があります — これは論文の範囲外の、実務上の判断です。
面接で問われたら: 「計算予算が2倍になったら何を増やす?」への筋道は、Chinchilla則なら「モデルとデータを各 $\sqrt{2}$ 倍（各1.4倍）」。Kaplan則との違いと、その差が学習率スケジュールの扱いから生まれたことまで言えれば十分です。

まとめ

スケーリング則は「損失がモデルサイズ・データ量のべき乗で下がる」という経験則。配分問題は $C \approx 6ND$ の制約付き最小化として書ける
Chinchilla論文は400本超の実験と3つの独立な方法で、モデルとデータを等比率で増やすのが最適（ $a \approx b \approx 0.5$ ）と推定した — Kaplan則（モデル偏重）を覆す結果
実証として、70B×1.4TトークンのChinchillaが、同予算で4倍大きいGopherをほぼ全評価で上回った
ただし大規模検証は1組のみ・1エポック未満の設定のみで、最適サイズはまだ過大評価の可能性が論文自身により指摘されている

土台となるTransformerの仕組みはAttention Is All You Need 論文解説で、この後の「小さくて強いモデル」の系譜はLLaMAファミリー全ガイドで扱っています。数兆トークンを実際に回すためのインフラ側の話は分散学習の仕組みへ。

🎬 この内容の解説動画（Manim・字幕つき）