第8章は学習の予算、第9章は人に合わせる工程、第10章は外から引く仕組みでした。どれも「どう作るか」の話です。

この章は使うときに払うものを数えます。学習は一度きりですが、推論は応答のたびに起きます。どこに値段が付いているかが分かると、速くする方法が2つしかないことも分かります。

1. 1トークンの値段と、学習に並ぶ回数

第8章で $C \approx 6ND$ を数えたとき、内訳は前向き $2N$・逆向き $4N$ でした。推論は前向きだけなので、1トークンあたり

$N = 7\times10^{9}$ なら1トークンで $1.4\times10^{10}$ FLOPs。1,000トークンの応答で $1.4\times10^{13}$ です。

学習のほうは $6ND$ で一度きり。だから「推論の合計が学習に並ぶ」のは、応答が $L$ トークンのとき

回です。$N$ が消えるのが面白いところで、モデルの大きさに依りません。$D = 10^{12}$ なら

2. 作り直さないために置いておく ── KVキャッシュ

自己回帰は1トークンずつ出します。素直にやると、$t$ 番目を出すたびに先頭から全部計算し直すことになります。

どれだけ無駄かは数えられます。$T$ トークン出すのに、$t$ 番目で $t$ トークンぶんの前向きを回すなら合計 $T(T+1)/2$。取っておけば $T$ です。

だから過去のトークンの $K$ と $V$（第6章）を取っておきます。これがKVキャッシュです。代わりに記憶を使います。$K$ と $V$ の2本、層ごと、トークンごと、$d$ 次元、1要素 $b$ バイトで

1トークンあたりは層32・$d$=4,096・2バイトで 0.524 MB。同時に8人を相手にすれば、$T$=8,192 でも 34.4 GB がキャッシュだけで要ります。

3. 速さを決めているのは計算ではなく読み出し

1トークン作るには、重みを全部1回読む必要があります。$N$ 個の重みが1個 $b$ バイトなら $Nb$ バイト読んで、計算は $2N$ FLOPs。割ると

16ビット（2バイト）なら 1 FLOP/byte。1バイト読むあいだに1回しか掛け算しません。

同時に $B$ 件まとめて進めると、重みは1回読めば全員に使えるので

実機で読み出しと計算のどちらが先に詰まるかは機種によります。本書で出せるのは比そのものだけで、どの機械でどちらが律速かは測っていません。

4. 読む量を減らす ── 量子化

重みを $b$ ビットに丸めます。いちばん素朴なやり方は、ある範囲の最大値 $m$ を取り、$2^{b-1}-1$ 段に等間隔で割ることです。

丸め誤差が $\pm\text{step}/2$ に一様に散るなら、分散は $\text{step}^2/12$。確かめます。標準正規の重み 4,096 個 × 64 行で測りました。

8〜3ビットは理論と0.5%以内で合い、2ビットだけ外れます。理由も測れました。2ビットだと目盛りは $\{-m, 0, +m\}$ の3段しかなく、93.9% の重みが0に丸められます。「誤差が一様に散る」という前提のほうが先に壊れているのです。

スケールを誰と共有するか

上の表は、1行4,096個で最大値を1つだけ取りました。128個ごとに取り直すと

どのビット数でも 1.34倍 良くなります。ここまでは「少し得」という程度の話です。