GPT系譜 — GPT-1から現在までの設計思想

GPT-1からGPT-4o・推論モデルまで、各世代で「何を変え、何を変えなかったのか」を追う。設計の中心にあるのは一貫して『次の一語を当てる』だけの機械で、変わったのは規模・学習の順序・出力の躾け方だった。

レシピは変えず、鍋だけを大きくした

料理を良くしようと思ったら、普通はレシピを変えます。材料を替え、手順を足し、火加減を調える。GPTの歴史はその逆でした。レシピはほとんど変えず、鍋の大きさだけを桁で増やし続けたのです。

2018年のGPT-1と、いま動いている最新モデルを並べると、中身の骨格は驚くほど似ています。文章を左から右へ読み、次の一語の確率を出す。その一点だけをやる機械を、層を厚くし、読ませる文章を増やし、計算を注ぎ込んで育て続けた。「大きくすれば賢くなる」という賭けに、7年間ずっと賭け金を積み増したのがこの系譜です。

だからGPTの世代交代は、新機能の追加としてより、どの軸を伸ばしたかの履歴として読むほうが正確に理解できます。この記事では各世代で「何が変わり、何が変わらなかったか」を1つずつ確かめていきます。

名前が設計思想そのもの

GPTは Generative Pre-trained Transformer の頭文字で、3語がそのまま設計方針になっています。

• Generative（生成的）: 分類ラベルを出すのではなく、次に来る単語そのものを出す
• Pre-trained（事前学習済み）: 目的の仕事を教える前に、大量の文章でひたすら下地を作る
• Transformer: 注意機構を積み重ねた構造。仕組みはAttention機構を1から理解するで扱っています

この3語の組み合わせが当時どれだけ非常識だったかは、対比すると見えます。2018年頃の主流は「解きたい仕事ごとに、ラベル付きデータを集めて専用モデルを訓練する」でした。翻訳には翻訳の、感情分析には感情分析の。GPTはそこに「まず何も教えずに文章だけ大量に読ませ、あとから仕事を教える」という順序を持ち込みました。ラベルを付ける必要がないので、教材はインターネットにいくらでもあります。

全世代に共通する、たった1つの機械

世代を追う前に、GPTが何をしている機械なのかを一度だけ固定しておきます。GPTは文章の確率を、次のように分解して扱います。

記号の意味はこうです。$x_t$ は $t$ 番目のトークン（単語や記号のかけら）、$x_{<t}$ はそれより前の全部、$\prod$ は掛け算を並べる記号です。つまりこの式は、「文章全体のもっともらしさは、『ここまでを読んだうえで次の一語が来る確からしさ』を最初から最後まで掛け合わせたもの」と言っているだけです。

モデルが直接出すのは、語彙のすべてに対する生スコア（ロジット）です。それを softmax にかけて確率に変え、そこから1語を選ぶ。式(1)はGPT-1からずっと変わっていません。変わったのは、この確率をどれだけ正確に出せるか、それだけです。

選び方には温度（temperature）という調整つまみがあり、これが出力の性格をかなり決めます。実際に動かして体感してみてください。

GPT-1（2018年）: 「先に読ませて、あとで仕込む」

初代GPTは12層のTransformerデコーダ、パラメータ数はおよそ1.17億でした。学習教材は未出版の書籍を集めたBooksCorpusで、扱える文脈は512トークン。今の感覚では小さなモデルです。

この論文が示したのは規模ではなく手順でした。第1段階で書籍を読ませて次語予測だけを学ばせ、第2段階で解きたい仕事のラベル付きデータを使って微調整する。この2段構えが「事前学習＋ファインチューニング」という型を言語モデルに定着させました。

もう1つ効いた工夫が、入力の変形です。含意判定・類似度・多肢選択といった形の違う仕事を、区切り記号を挟んだ1本のトークン列に書き直すことで、モデル本体の構造を仕事ごとに作り替えずに済ませました。「1つのアーキテクチャで何でも解く」という後の常識は、ここに芽があります。

ここで注意しておきたいのは、GPT-1がまだ仕事ごとに重みを更新していたことです。事前学習は下地に過ぎず、翻訳をさせたければ翻訳用に微調整する必要がありました。この「あとで仕込む」工程を削っていくのが、続く2世代のテーマになります。