contrastive

定義

似ているはずの組を近づけ、無関係な組を遠ざけるように表現を学ぶ方式。ラベルを人手で付けずに正例と負例を構成できるのが利点で、画像とその拡張版を正例とする自己教師あり学習や、画像とキャプションを対応付ける CLIP の学習に使われる。負例の作り方とバッチサイズが性能を大きく左右する。

論文題名での読み方

対照学習の方式

この語が出てくる解説

• 自己教師あり学習 — ラベルなしデータが宝になった日A Simple Framework for Contrastive Learning of Visual Representations
• 相互情報量 — 「知っている」を測るRepresentation Learning with Contrastive Predictive Coding