学生版 社会人版
JA EN

#arithmetic-coding

2 記事

01 ·情報理論·★ 会員·論文·14分で読めます 圧縮＝予測＝知能 — 情報理論から見るLLM Language Modeling Is Compression 次のトークンを当てる訓練は、そのままファイルを縮める訓練でもあります。算術符号化を経由すると「確率モデル」と「符号」が同じものだと分かり、交差エントロピー損失が圧縮後のバイト数そのものになる。Hutter Prizeが圧縮率を知能の指標に据えた理由まで、1から積み上げます。 02 ·符号化の理論·★ 会員·11分で読めます エントロピー符号化を1から — ハフマンから算術符号まで 「情報量がそのまま符号長になる」——この一行が圧縮のすべてです。シャノンの下限からハフマン符号の作り方、整数ビットという限界、それを外す算術符号とANS、そしてJPEG・PNG・H.264・zstdのどこで何が動いているかまで。最後に、圧縮率が頭打ちになったときの切り分け方を置きます。