論文解説: CLIP — 言葉と画像を同じ地図に置く

CLIP原論文（Radford et al., 2021）を本文だけを根拠に読む。バッチ内の正例と負例で学ぶ対照学習の仕組み、テキスト側が分類器の重みを作るというゼロショットの正体、プロンプトで5%動く事実、そして論文自身が並べた長い限界のリスト。

Learning Transferable Visual Models From Natural Language Supervision

1000個の箱に入らないものは、見えない

最先端の画像認識は、あらかじめ決められた固定のカテゴリ集合を予測するよう学習される。この形の教師信号は汎用性を制限する。別の視覚概念を指定したければ、そのぶんラベル付きデータを追加するしかないからだ——論文はここから始まります（Abstract）。

弱教師あり学習の先行研究も同じ檻の中にいました。論文は、それらが教師信号を1000クラス、あるいは18291クラスへと設計の過程で自ら制限していると指摘します。加えて予測は静的なsoftmax分類器で行われるため、出力を動的に変える仕組みがない。これが柔軟性を大きく削ぎ、ゼロショット能力を制限している（§1）。一方で自然言語から直接学ぶ試みは性能が低く、Visual N-GramsのImageNetゼロショット精度は11.5%でした（§1）。

そこで論文はインターネット上の公開情報から4億組の（画像, テキスト）を集めます。50万件のクエリ語（英語版Wikipediaに100回以上現れる語やWordNetの同義語集合など）のいずれかを含むテキストを探し、1クエリあたり最大2万組でクラスバランスを取る。これがWIT（WebImageText）です（§2.2）。

キャプションを当てるのは、遠回りだった

最初のアプローチは画像のキャプションを予測する共同学習でした。しかし効率が上がらない。図2の実測では、6300万パラメータのTransformer言語モデル（画像側のResNet-50の2倍の計算量を使う）は、同じテキストをbag-of-wordsに符号化して当てる単純なベースラインより3倍遅くImageNetのクラスを覚えていきました（§2.3）。

原因は課題設定にあります。どちらも「画像に付随するテキストの正確な語」を当てようとしている。画像に併走する説明・コメント・関連文の多様さを考えれば、これは難しすぎる。そこで論文は、語ではなくどのテキスト全体がどの画像と対になっているかだけを当てるという代理課題に切り替えます。同じベースラインの目的関数を対照的なものへ差し替えると、ゼロショット転移の学習効率がさらに4倍改善しました（§2.3）。

内積が、そのまま「近さ」になる

仕組みは単純です。$N$ 組の（画像, テキスト）を含むバッチが来たら、$N\times N$ 通りの組み合わせのうち実際に対になっていたのはどれかを当てる。画像エンコーダとテキストエンコーダを同時に学習し、本物の $N$ 組の埋め込みのコサイン類似度を最大化し、間違った $N^{2}-N$ 組を最小化する。この類似度スコアに対称的な交差エントロピー損失を最適化します（§2.3）。埋め込みは各エンコーダの表現から線形射影1つで作られ、非線形射影は使いません。

つまり学習が終わったあと、画像も文も同じ空間の単位ベクトルになっていて、近さは内積ひとつで決まる。「同じ地図に置く」とはこの意味です。実際のバッチサイズは32,768と非常に大きく、温度パラメータ $\tau$ は学習中に直接最適化されます（§2.5）。