第9章の結論の一つは、覚えていないことは対を見せても出てこないでした。SFT の的は事前学習の1万分の1で、そこで変えられるのは出し方であって中身ではない。

では、重みに入っていないことを使わせたいときはどうするか。道は2つです。重みに入れ直す（もう一度学習する）か、その場で渡すか。この章は後者を扱います。

渡すには選ばなければなりません。選ぶには「近い」を数で決めなければなりません。第0部第1章で預けたコサイン類似度を、ここで回収します。

1. 「全部渡す」は成り立たない

まず、選ばずに済む道が閉じていることを確かめます。

文書を512トークンずつに切ったとして、文脈長 $T$ に何個入るか。

手元に100万チャンクあるなら、16個は全体の $1.6\times10^{-5}$ です。999,984個は捨てている。

「文脈を伸ばせばよい」は、第6章の $T^2$ がそのまま値段になります。$T$ を 8k から 128k にすると注意の表は $16^2 = 256$ 倍。入る数は16倍にしかなりません。

2. 近さを決める ── 内積ではなくコサイン

文書も問い合わせも、学習済みのモデルがベクトルに写します（埋め込み）。近さは内積で測れそうですが、素の内積には罠があります。

実測します。問い合わせ $q$ に対し、

• $a$：向きが近い（$\cos = 0.9929$）
• $b$：向きは遠い（$\cos = 0.5659$）が、長さが3倍

内積は $q\cdot a = 0.9929$ に対し $q\cdot b = 1.6977$。向きの遠い $b$ が勝ちます。 長さは「文書が長い」「語数が多い」といった事情で付くことがあり、近さと関係ありません。

だから長さを割ります。第0部第1章の式です。

正規化してしまえば、ユークリッド距離も同じ順位を返します。$\|x\|=\|y\|=1$ なら

実測でも一致しました（$a$ 側 0.0143 と 0.0143、$b$ 側 0.8682 と 0.8682）。コサインが最大の文書は、L2 が最小の文書と同じです。

3. 高い次元では、無関係はほぼ直角

埋め込みは数百〜数千次元です。高次元には、検索にとって都合のよい性質があります。

乱数の単位ベクトルを2本取ってコサインを測りました（各次元4,000組）。

平均はどの次元でも 0 で、ばらつきは $1/\sqrt{d}$ で縮みます（第0部第3章で見た $\sigma/\sqrt{n}$ と同じ形）。$d = 4096$ では、4,000組のうち最も偏ったものでも $\lvert\cos\rvert = 0.055$ でした。

無関係なものどうしが 0 のまわりに固まるから、少しでも関係があるものが浮き上がります。これが「埋め込みで検索できる」ことの土台です。

同時に、裏側も見えます。$d=4096$ では 0.05 を超えればもう珍しい。0.82 と 0.79 の差を「意味の差」として読むのは危ういということでもあります。

4. 総当たりは何回の掛け算か

$N$ 個の文書を $d$ 次元で持ち、問い合わせ1件ごとに全部と内積を取ると、掛け算と足し算で $2Nd$ FLOPs です。

$d = 768$ での値です。問い合わせのたびにこの計算を払います。第8章の学習の $10^{21}$ に比べれば小さいですが、学習は一度、検索は毎回です。

だから「全部は見ない」方法が要ります。

5. 近似最近傍 ── 見た割合と取りこぼし

やり方は単純です。文書をあらかじめ房に分けておき（k-means）、問い合わせに近い房だけ中を見る。見る房の数が $n_{\text{probe}}$ です。

実験しました。$N = 10{,}000$、$d = 64$、房は100、$K = 10$、問い合わせ200件。データは50個の中心のまわりに散らしたもので、同じ房どうしの平均コサインは 0.410 です。対照として、同じ件数をでたらめに選んだときの recall も一緒に測りました。

2.0% だけ見て 99.6%。 計算を50分の1にして、上位10件はほぼ取れています。