2026-08-06·無料·論文·9分で読めます

論文解説: CLIP — 言葉と画像を同じ地図に置く

CLIP原論文（Radford et al., 2021）を本文だけを根拠に読む。バッチ内の正例と負例で学ぶ対照学習の仕組み、テキスト側が分類器の重みを作るというゼロショットの正体、プロンプトで5%動く事実、そして論文自身が並べた長い限界のリスト。

要点

CLIPは、バッチ内でどの画像とどの文が対かを当てる対照学習で、正例N組・負例N²−N組に対称な交差エントロピーを使う。
画像とテキストのエンコーダを同時に学習し、埋め込みは線形射影1つで作る。バッチサイズは32,768。
ゼロショット分類では、テキストエンコーダが線形分類器の重みを生成するハイパーネットワークとして働く。
A photo of a {label}.の既定化で1.3%、80個のプロンプトのアンサンブルで3.5%上がり、合計でおよそ5%改善する。
限界として、SOTAに届くには約1000倍の計算が必要で、手書き数字MNISTは88%にとどまる。

#clip #contrastive-learning #zero-shot #multimodal #paper-review

対象image textタスクmultimodal

Learning Transferable Visual Models From Natural Language Supervision

一次資料 — この記事の根拠

論文の発表 2021-02-26→この解説の公開 2026-08-065年5か月後

Learning Transferable Visual Models From Natural Language SupervisionAlec Radford, Jong Wook Kim, Chris Hallacy ほか · 2021-02-26 · v1arXiv:2103.00020論文ページ·PDF

原文の要旨（Abstract）を読む

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

1000個の箱に入らないものは、見えない

最先端の画像認識は、あらかじめ決められた固定のカテゴリ集合を予測するよう学習される。この形の教師信号は汎用性を制限する。別の視覚概念を指定したければ、そのぶんラベル付きデータを追加するしかないからだ——論文はここから始まります（Abstract）。

弱教師あり学習の先行研究も同じ檻の中にいました。論文は、それらが教師信号を1000クラス、あるいは18291クラスへと設計の過程で自ら制限していると指摘します。加えて予測は静的なsoftmax分類器で行われるため、出力を動的に変える仕組みがない。これが柔軟性を大きく削ぎ、ゼロショット能力を制限している（§1）。一方で自然言語から直接学ぶ試みは性能が低く、Visual N-GramsのImageNetゼロショット精度は11.5%でした（§1）。

そこで論文はインターネット上の公開情報から4億組の（画像, テキスト）を集めます。50万件のクエリ語（英語版Wikipediaに100回以上現れる語やWordNetの同義語集合など）のいずれかを含むテキストを探し、1クエリあたり最大2万組でクラスバランスを取る。これがWIT（WebImageText）です（§2.2）。

キャプションを当てるのは、遠回りだった

最初のアプローチは画像のキャプションを予測する共同学習でした。しかし効率が上がらない。図2の実測では、6300万パラメータのTransformer言語モデル（画像側のResNet-50の2倍の計算量を使う）は、同じテキストをbag-of-wordsに符号化して当てる単純なベースラインより3倍遅くImageNetのクラスを覚えていきました（§2.3）。

原因は課題設定にあります。どちらも「画像に付随するテキストの正確な語」を当てようとしている。画像に併走する説明・コメント・関連文の多様さを考えれば、これは難しすぎる。そこで論文は、語ではなくどのテキスト全体がどの画像と対になっているかだけを当てるという代理課題に切り替えます。同じベースラインの目的関数を対照的なものへ差し替えると、ゼロショット転移の学習効率がさらに4倍改善しました（§2.3）。

内積が、そのまま「近さ」になる

仕組みは単純です。 $N$ 組の（画像, テキスト）を含むバッチが来たら、 $N\times N$ 通りの組み合わせのうち実際に対になっていたのはどれかを当てる。画像エンコーダとテキストエンコーダを同時に学習し、本物の $N$ 組の埋め込みのコサイン類似度を最大化し、間違った $N^{2}-N$ 組を最小化する。この類似度スコアに対称的な交差エントロピー損失を最適化します（§2.3）。埋め込みは各エンコーダの表現から線形射影1つで作られ、非線形射影は使いません。

FIG 12本のベクトルの向きが揃うほど内積は大きくなる。長さを1に揃えれば内積がそのままコサイン類似度になり、CLIPはこの値ひとつで画像と文の近さを測る

つまり学習が終わったあと、画像も文も同じ空間の単位ベクトルになっていて、近さは内積ひとつで決まる。「同じ地図に置く」とはこの意味です。実際のバッチサイズは32,768と非常に大きく、温度パラメータ $\tau$ は学習中に直接最適化されます（§2.5）。

ゼロショット分類の正体

ゼロショット分類は、この事前学習能力の再利用にすぎません。データセットの全クラス名を候補テキストとして用意し、画像の埋め込みとのコサイン類似度を温度で調整してsoftmaxで確率にする（§3.1.2）。式に起こすと（ $\mathbf{v}$ はL2正規化済みの埋め込み）:

p(y=i\mid I)=\operatorname{softmax}_i\!\left(\frac{\langle \mathbf{v}_I,\mathbf{v}_{T_i}\rangle}{\tau}\right)

(1)

$\langle\cdot,\cdot\rangle$ が内積（正規化済みなのでコサイン類似度そのもの）、 $\tau$ が温度です。論文はこの予測層を「L2正規化された入力と重みを持ち、バイアスがなく、温度スケーリングを伴う多項ロジスティック回帰」と呼びます（§3.1.2）。

FIG 2同じスコアでも温度で分布の尖り方が変わる。CLIPの温度は手で決めるハイパーパラメータではなく、学習で最適化される量（§2.3）

この見方に立つと、テキストエンコーダは「線形分類器の重みを生成するハイパーネットワーク」、画像エンコーダはただのバックボーンです（§3.1.2）。

プロンプトの書き方で、5%動く

クラス名だけを素直に埋め込むと2つの問題が起きます。ひとつは多義性で、ImageNetには建設機械のcraneと鳥のcraneが両方入っている。Oxford-IIIT Petsのboxerは文脈上は犬種ですが、文脈のないテキストエンコーダには格闘家にも読める。もうひとつは分布のずれで、事前学習データのテキストは単語1個ではなく文であることがほとんどです。

対策は具体的です。A photo of a {label}. を既定にするだけでImageNetの精度が1.3%上がる。衛星画像では a satellite photo of a {label}. が効いた。さらに80個の文脈プロンプトをアンサンブルしてもう3.5%、合計でおよそ5%。計算量4倍に相当する改善で、しかもアンサンブルは埋め込み空間で平均するため追加コストは実質ゼロです（§3.1.4）。

得意と不得意は、はっきり分かれる

27データセットの評価で、ゼロショットCLIPはResNet-50の特徴量に載せた教師ありロジスティック回帰に16勝します。ImageNetでは76.2%、128万枚のラベルを1枚も使わずに元祖ResNet-50に並び、行動認識ではKinetics700 +14.5%、UCF101 +7.7%（§3.1.3、§3.1.5）。

弱い場所も明確です。衛星画像、リンパ節の腫瘍検出、合成シーンの数え上げ、交通標識、最も近い車までの距離。細粒度でも車種や航空機の型式では10%以上負ける。データ効率で見るとゼロショットは同じ特徴空間の4-shotロジスティック回帰と同等でした（§3.1.5）。

分布シフトへの強さは特筆に値します。自然な分布シフト7種でImageNetモデルは大きく精度を落としますが、ゼロショットCLIPはこの「頑健性ギャップ」を最大75%縮めました。ところがImageNetに適応させると、ImageNet精度は9.2%上がって85.4%になる一方で分布シフト下の平均精度はわずかに下がる。論文はこの現象に「確信を持った答えは今のところ無い」と書いています（§3.3）。

限界（論文自身が §6 に並べたもの）

計算量が足りない。ゼロショットCLIPが全体のSOTAに届くにはおよそ1000倍の計算が必要と見積もられ、現行ハードウェアでは実現不能。
真に分布外だと崩れる。手書き数字MNISTで88%しか出ず、生画素のロジスティック回帰に負ける。「多様なデータを大量に集めれば全部が分布内になる、というのは素朴な仮定だ」と論文自身が書いています。
与えたクラス集合の外は選べない。キャプション生成のような自由な出力は作れません。
方法論の問題。開発中に検証セット全体を繰り返し参照しており、27データセットの評価集合も「CLIPの開発と共適応した」ものだと認めています。
社会的バイアス。§7.1 の実測では、FairFaceの1万枚に非人間クラスを混ぜると4.9%が誤分類され、うち「Black」画像は約14%（他は8%未満）。犯罪関連語への誤分類は男性16.5%・女性9.8%でした。
ゼロショットより1-shotが弱いという逆転。人間は1例で54%→76%に伸びるのに（§4）、CLIPは線形分類器に切り替えた瞬間むしろ落ちる。

※本記事執筆時点（2026年）の補足（原論文の主張ではなく筆者の注記）: 数値はすべて2021年の本論文の報告値で、後続の再現・改良版は含みません。

現場ではこう使う

CLIPを実務で使うのは、画像検索・レコメンドの類似度計算、投稿画像のモデレーション、そしてラベルの無い大量画像を言葉で絞り込むデータ整備です。多くの場合、学習はしません。

触るのはほぼプロンプトと閾値。 クラス名をそのまま入れず A photo of a {label}. から始め、ドメイン語を足す。複数テンプレートを埋め込み空間で平均してキャッシュすれば、精度は上がってコストは増えません（§3.1.4）。温度は学習済みの値を使う量です。

落とし穴。 ①L2正規化を忘れると内積がコサインでなくなり、閾値が意味を失う。②クラス名の多義性——crane、boxer は論文が挙げた実例。③数える・測るタスクはほぼ機能しない。④クラス集合に無いものは出てこないので、「該当なし」も候補文として自分で足す（§3.1.5、§6）。

面接で問われる問い。 「ゼロショット分類の計算手順を述べよ」——テキスト側でクラスごとの重みベクトルを作り、L2正規化した画像埋め込みとの内積を温度で割ってsoftmax（§3.1.2）。「なぜキャプション生成ではなく対照学習か」——語を当てる課題は難しすぎ、図2で3倍＋4倍の効率差が出たから（§2.3）。「バッチサイズは何に効くか」——負例は同じバッチ内の $N^{2}-N$ 組から取るので、バッチが負例の数を決めます。ただし小さくした場合の性能は本論文では未検証。画像側はViT論文解説へ。

まとめ

CLIPは「バッチ内でどの画像とどの文が対か」を当てるだけの対照学習。正例 $N$ 組、負例 $N^{2}-N$ 組で対称な交差エントロピーを最適化する（§2.3）
ゼロショット分類は、テキスト側が線形分類器の重みを生成する構造として理解できる（§3.1.2）
プロンプト設計とアンサンブルでImageNet精度は約5%動く（§3.1.4）
分布シフトには強いが、ImageNetに適応させるとその利点はほぼ消える（§3.3）
SOTAまで1000倍の計算、MNISTで88%——限界は論文自身が並べている（§6）

原論文: Radford et al., "Learning Transferable Visual Models From Natural Language Supervision" (arXiv:2103.00020, 2021)