compression

定義

情報やモデルを、必要な中身を保ったまま小さく表すこと。実務では量子化や蒸留、枝刈りでモデルを軽くする話として出る一方、理論側では「よく予測できることは、よく圧縮できることと等価」という見方があり、言語モデルの性能を圧縮率で語る論文もある。

論文題名での読み方

軽量化の手法

この語が出てくる解説

• 論文解説: LatentPress — 圧縮した文脈を、テキストにも画像にも戻さずLLMに直接読ませるLatentPress: Context Compression Beyond Text and Vision
• 圧縮＝予測＝知能 — 情報理論から見るLLMLanguage Modeling Is Compression
• ニューラル圧縮 — 学習するコーデックEnd-to-end Optimized Image Compression