#perplexity

1 記事

01 ·情報理論·無料·11分で読めます 情報理論とAI — 交差エントロピー損失はどこから来たのか 情報量は驚きの大きさ、エントロピーは平均の驚き、KL情報量は2つの分布のズレ。この3つを積み上げると、分類でいつも使っているあの損失関数が必然として出てきます。なぜ対数なのか、なぜあの形なのか、そしてperplexityが何を数えているのかまで。