Gemma系を1から解説 — 系譜・特徴・使いどころ

GoogleのオープンウェイトLLM「Gemma」を系譜から解説。蒸留・局所注意・実効パラメータという各世代の発明、ライセンスの実務注意、Ollamaでのローカル運用までを1本で通す。

Gemma: Open Models Based on Gemini Research and Technology

レストランとパンの配布 — オープンウェイトとは何か

ChatGPTやGeminiは「レストラン」です。おいしい料理（回答）は出てきますが、厨房には入れず、レシピも持ち帰れません。閉店（サービス終了や値上げ）したら、それまでです。

Googleが2024年から続けているGemmaは、これに対して「焼き上がったパンの配布」に近いモデルです。レシピ（学習データと学習手順）は非公開でも、パンそのもの＝学習済みの重みは自分のPCに持ち帰れます。切って使っても（推論）、生地から焼き直しても（微調整）、自分の店で出しても（製品への組み込み）かまいません。こういう配り方のモデルをオープンウェイトモデルと呼びます。

GemmaはGeminiと同じ研究・技術から派生した「弟分」のシリーズで、2024年の初代から2026年のGemma 4まで、ほぼ1年に1世代のペースで進化してきました。この記事では系譜を順に追いながら、各世代で何が発明されたのか、見落とすと事故になるライセンスの話、そしてOllamaを使った手元での実運用までを通して解説します。

前提: 「7B」の読み方とファミリーという考え方

LLMの名前に付く「2B」「7B」はパラメータ数です。Bはbillion（10億）で、7Bなら「調整可能な数値が70億個入った巨大な関数」を意味します。手元で動かせるかは、この数を1個あたり何バイトで持つかで決まります。16bit（2バイト）なら7Bで約14GB、4bitまで圧縮（量子化）すれば約3.5GB＋α。つまり メモリ ≈ パラメータ数 × 1パラメータのバイト数 という掛け算だけで、必要メモリの当たりが付きます。

「ファミリー」とは、同じ設計思想と学習パイプラインから作られたサイズ違い・用途違いの兄弟たちのことです。同じ世代内ではトークナイザや作法が共通なので、小型で試して大型に差し替える、といった乗り換えが楽になります。

第1世代: Gemma 1（2024年）— 参入と土台

初代Gemmaは2024年2月に2Bと7Bの2サイズで公開されました。中身はAttention機構を積み重ねた標準的なデコーダ型Transformerで、文脈長は8Kトークン。当時すでにMetaのLlama系がオープンウェイト市場を先行しており、Googleが「Geminiの技術で作った小型・高品質モデル」で参入した、という位置づけです。

このとき確立した約束事は今も続いています。各サイズにbase版（続きを予測するだけの素の状態）とinstruct版（-itが付く、指示に従うよう追加調整済み）の2種類があること。チャットに使うのは必ず-it側です。また本流とは別に、コード特化のCodeGemma、画像＋言語のPaliGemmaなど、派生ブランチが横に生える構図もここから始まりました。

第2世代: Gemma 2（2024年）— 蒸留という発明

2024年6月、Gemma 2が27Bと9Bで登場します（後に2Bも追加）。最大の特徴は、小型モデルを知識蒸留（knowledge distillation）で学習したことです。

蒸留を比喩で言うと、過去問と模範解答（正解1つ）だけで独学する代わりに、家庭教師の「迷い方」まで教わる勉強法です。通常の学習では「次の単語はcatが正解」という1点だけを教えますが、蒸留では大型の先生モデルが出す確率分布——「catが70%、kittenが20%、dogが5%…」——を丸ごと真似させます。正解以外への確率の割り振り方にこそ、先生の知識が詰まっているからです。

この「分布のなだらかさ」を制御するのが温度$T$です。

式(1)の$z_i$はモデルが出す生のスコア（ロジット）、$T$が温度です。$T=1$が素のsoftmax、$T$を大きくすると全スコアが縮んで差が付きにくくなり、分布は平らになります。つまり式(1)は、候補ごとのスコアを温度で割り、$\exp$に通して負の値をなくし、最後に全部の合計で割って合計が1になるよう揃え直す——要するに百分率に直す——という手順を書いたものです。先に大きな$T$で割るほど1位と2位の差は縮んでから比べられるので、これは「モデルの自信が下がる」と同じことを言っています。蒸留では$T$を上げて先生の分布を「ならして」から真似させることで、2位以下の候補に込められた情報まで生徒に流し込みます。