最終章として、第I部と第II部を接続する。モデルの構造の違いが、ハードウェアの上でどう現れるかという話である。

KVキャッシュという新しい問題

Transformerが文章を生成するとき、1トークン出すたびに過去のすべてのトークンのKeyとValueを参照する。毎回計算し直すのは無駄なので保存しておく。これがKVキャッシュである。