We investigate the optimal model size and number of tokens for training a transformer language model under a given compute budget. We find that current large language models are significantly undertrained, a consequence of the recent focus on scaling language models whilst keeping the amount of training data constant. By training over 400 language models ranging from 70 million to over 16 billion parameters on 5 to 500 billion tokens, we find that for compute-optimal training, the model size and the number of training tokens should be scaled equally: for every doubling of model size the number of training tokens should also be doubled. We test this hypothesis by training a predicted compute-optimal model, Chinchilla, that uses the same compute budget as Gopher but with 70B parameters and 4$\times$ more more data. Chinchilla uniformly and significantly outperforms Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), and Megatron-Turing NLG (530B) on a large range of downstream evaluation tasks. This also means that Chinchilla uses substantially less compute for fine-tuning and inference, greatly facilitating downstream usage. As a highlight, Chinchilla reaches a state-of-the-art average accuracy of 67.5% on the MMLU benchmark, greater than a 7% improvement over Gopher.

音速の壁は、確かにあった。ただし越えられた

プロペラ機の時代、飛行機を速くする方法は明快でした。エンジンを大きくすることです。実際それで記録は伸び続け、そして音速に近づいたところで伸びなくなりました。当時の技術者は3つに割れます。「壁などない、出力が足りないだけだ」「壁はある、人はこれ以上速く飛べない」「壁はあるが、それはプロペラと直線翼という設計に由来するもので、別の原理なら越えられる」。

正しかったのは3番目でした。壁は実在し、しかも越えられた。ただし越えたのは大きなエンジンではなく、後退翼とジェット推進という設計変更です。

大規模言語モデルをめぐる論争は、構造がよく似ています。「パラメータとデータを増やせば賢くなる」は2020年からの数年、驚くほどよく当たりました。そして今、複数の方向から「その延長では届かない」という主張が出ています。この記事はそれを公平に並べます。批判を笑うためでも擁護を潰すためでもなく、どの主張がどんな証拠に支えられ、何が観測されれば白黒がつくのかを整理するためです。

まず、疑われている側の主張を正確に置く

懐疑論を読む前に標的を正確にします。曖昧な的を撃つのは、いつでも簡単だからです。

スケーリング則は「大きいほど賢い」という漠然とした話ではありません。損失が、パラメータ数とデータ量のべき乗として滑らかに下がるという定量的な主張です。Hoffmann らの Chinchilla 論文は、これを次の形に当てはめました。

L(N, D) = E + \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}}

(1)

$L$ は損失（次の単語の当てにくさ）、 $N$ はパラメータ数、 $D$ は学習トークン数です。 $E$ はどれだけ大きくしても消えない項で、言語そのものが持つ予測不可能性を表します。 $A/N^{\alpha}$ は「モデルが小さいことによる損」、 $B/D^{\beta}$ は「データが足りないことによる損」。つまりこの式は、性能不足の原因を「モデル不足」「データ不足」「原理的に無理な分」に分解しているわけです。同論文の当てはめ値では $\alpha$ と $\beta$ はどちらも0.3前後、ほぼ同じ大きさでした。だから予算が増えたらモデルとデータを同率で増やすのが最適になる — これが Chinchilla則の正体です（導出はスケーリング則を1から解説）。

擁護側の最も強い証拠は、この式が外挿できたことです。GPT-4 の技術報告は、最大で1万分の1の計算量しか使わない小さなモデル群に法則を当てはめ、本番モデルの最終損失を事前に予測できたと述べています。橋を架ける前に強度を計算できるのと同じ意味を持つ、工学的に大きな成果です。思想的な背骨は Rich Sutton の「苦い教訓」（2019）— 人間の知識を手で埋め込む手法は、長期的には計算量に任せる手法に負けてきた、というAI史の総括にあります。

ここで、論争でいちばん混線する点を分けておきます。実は3つの別々の主張が同じ言葉で語られています。①投入を増やせば損失が下がる、②損失が下がれば能力が上がる、③能力が上がればいずれ人間並みの知能に届く。スケーリング則が実証したのは①だけです。②は経験的に「だいたい成り立つ」程度、③は主張ですらなく賭けです。懐疑論の多くは②か③を撃っているのに、擁護側は①の強さで応じてしまう。議論が噛み合わない原因のかなりの部分がここにあります。

そしてこの式は「無限に良くなる」とは一言も言っていません。べき乗則が log-log のグラフで直線に見えるのは、線形の軸では同じ改善幅を得るたびに投入量を定数倍するという意味です。擁護と懐疑は、同じグラフを見ています。

FIG 1対数軸と線形軸を切り替えられる図。ここで体感してほしいのは曲線の名前ではなく、対数軸でおとなしく見えるものが線形軸では別物になること。スケーリング則のグラフが常に log-log で描かれる理由でもある

その定数倍が実際どれくらいかを、Chinchilla の指数で概算します。

alpha = 0.34          # Chinchilla論文が当てはめた N 側の指数
# 最適配分では N ∝ C^0.5（計算量Cを増やすとD も同率で増える）
def compute_multiplier(shrink):        # shrink=0.5 なら「モデル由来の損失を半分に」
    n_mult = shrink ** (-1 / alpha)    # 必要なパラメータ数の倍率
    return n_mult ** 2                 # N ∝ C^0.5 なので C はその2乗

print(round(compute_multiplier(0.5)))  # ≒ 59

モデル由来の損失項を半分にするだけで計算量はおよそ59倍。次にもう半分にするには、さらに59倍要ります。これは批判ではなく法則をそのまま読んだ帰結で、擁護者と懐疑者の違いは、この階段を「登れる」と見るか「実質的に壁だ」と見るかにあります。以下、階段の途中に置かれた3つの障害物を順に見ます。

スケーリング懐疑論 — 「大きくするだけ」批判の系譜

音速の壁は、確かにあった。ただし越えられた

まず、疑われている側の主張を正確に置く

ここから先は会員限定です

参考文献

コメント