compression

定義

情報やモデルを、必要な中身を保ったまま小さく表すこと。実務では量子化や蒸留、枝刈りでモデルを軽くする話として出る一方、理論側では「よく予測できることは、よく圧縮できることと等価」という見方があり、言語モデルの性能を圧縮率で語る論文もある。

論文題名での読み方

軽量化の手法

この語が出てくる解説

• 論文解説: DeepSeek-V4.1-Flash — KVキャッシュ圧縮をどこまで詰められるかDeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression
• 論文解説: X-AuT — 音声エンコーダの層を「2枚ずつ」抜いて、大きい教師で埋め戻すX-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation
• 論文解説: BeaconKV — 「思考を読み返す瞬間」を先読みしてKVキャッシュを捨てるBeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference