VLMを理解するために、避けて通れない一歩がある。2021年のCLIPである。

それまでの画像認識は、あらかじめ決めたクラス（1000種類など）に分類するものだった。学習していないものは認識できない。CLIPはこの枠組みを壊した。

やったこと

インターネットから、画像とそれに付随する説明文のペアを大量に集める（約4億組）。画像を処理するエンコーダと、文章を処理するエンコーダを2つ用意し、それぞれベクトルを出力させる。

そして学習の目標をこう設定する。正しいペアのベクトル同士は近く、間違ったペア同士は遠くなるようにせよ。これを対照学習という。

これができると、驚くことが可能になる。分類したいとき、クラス名を文章にして（「犬の写真」「猫の写真」）テキストエンコーダに通し、画像のベクトルと比較して最も近いものを選べばよい。学習時に見ていないクラスでも、言葉で説明できれば分類できる。これをゼロショット分類という。

CLIPの意義は2つある。1つは、Webにある雑多な画像とテキストのペアが、それ自体で強力な教師信号になると示したこと。人手でラベルを付ける必要がない。もう1つは、言語と視覚をつなぐ共通表現が実際に作れると証明したことである。これが次章の土台になる。