#infonce

1 記事

01 ·情報理論·★ 会員·論文·14分で読めます 相互情報量 — 「知っている」を測る Representation Learning with Contrastive Predictive Coding 片方を知ると、もう片方の迷いがどれだけ減るか。それを1つの数字にしたのが相互情報量です。エントロピーの引き算という定義から、条件付き相互情報量・データ処理不等式・推定の難しさを経て、対照学習のInfoNCEがなぜ「相互情報量の下限」と呼ばれるのかまでをつなげます。