Transformerが言語で成功したとき、当然の疑問が生まれた。画像にも使えるのか。

2020年のVision Transformer（ViT）の答えは、拍子抜けするほど単純だった。画像を16×16などの正方形のパッチに切り分け、それぞれを1つの「単語」だと思って、そのままTransformerに入れる。

畳み込みは一切使わない。各パッチを平坦なベクトルに直し、線形変換して埋め込みにし、位置情報を足して、あとは言語モデルと同じ処理をする。それだけで、大量のデータで学習すればCNNを上回る精度が出た。

ただし条件がある

ここで17章の「帰納バイアス」が効いてくる。CNNには「近くのピクセルが関係する」「位置がずれても同じ」という前提が構造として組み込まれている。ViTにはそれがない。すべての関係をデータから学ばなければならない。