学生版 社会人版
JA EN

#information-theory

5 記事

01 ·情報理論·★ 会員·論文·14分で読めます 圧縮＝予測＝知能 — 情報理論から見るLLM Language Modeling Is Compression 次のトークンを当てる訓練は、そのままファイルを縮める訓練でもあります。算術符号化を経由すると「確率モデル」と「符号」が同じものだと分かり、交差エントロピー損失が圧縮後のバイト数そのものになる。Hutter Prizeが圧縮率を知能の指標に据えた理由まで、1から積み上げます。 02 ·情報理論·★ 会員·論文·14分で読めます 相互情報量 — 「知っている」を測る Representation Learning with Contrastive Predictive Coding 片方を知ると、もう片方の迷いがどれだけ減るか。それを1つの数字にしたのが相互情報量です。エントロピーの引き算という定義から、条件付き相互情報量・データ処理不等式・推定の難しさを経て、対照学習のInfoNCEがなぜ「相互情報量の下限」と呼ばれるのかまでをつなげます。 03 ·情報理論·無料·12分で読めます エントロピーと交差エントロピー — 損失関数の出どころ 分類モデルで必ず出てくる交差エントロピー損失は、天下り式に決められたものではありません。「驚きの量」から出発して、エントロピー → 交差エントロピー → あの見慣れた損失式へと一本道でたどり、なぜ二乗誤差ではダメなのかまで説明します。 04 ·情報理論·★ 会員·論文·12分で読めます KL情報量を1から — 2つの分布の「ズレ」を測る Training language models to follow instructions with human feedback 2つの確率分布の「ズレ」を測るKL情報量を、圧縮の無駄払いという比喩から定義・非対称性・numpy実装へと積み上げる。後半はVAEの正則化項とRLHFのKLペナルティという2大応用で、この量が現代のAIをどう支えているかまでつなげる。 05 ·情報理論·★ 会員·11分で読めます 情報理論とAI — 交差エントロピー損失はどこから来たのか 情報量は驚きの大きさ、エントロピーは平均の驚き、KL情報量は2つの分布のズレ。この3つを積み上げると、分類でいつも使っているあの損失関数が必然として出てきます。なぜ対数なのか、なぜあの形なのか、そしてperplexityが何を数えているのかまで。