#quantization

13 記事

01 ·時系列データ系·★ 会員·論文·10分で読めます 論文解説: STEPQuant — Delta則の再帰状態は「いつ・どこの」量子化誤差が効くのか STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization 線形注意の再帰状態は固定サイズでも、同時リクエストが増えると重みより大きなメモリを食う。素直に低ビット化すると誤差が更新のたびに積み上がる。誤差が『いつまで残るか』と『どの行に乗るか』でビットとスケールを配るSTEPQuantを1から解説する。 02 ·推論・高速化·★ 会員·論文·9分で読めます 論文解説: Disaggregated Quantization — LLMの「読む」と「書く」で量子化を分ける Disaggregated Quantization: Specializing LLM Prefill and Decode LLM推論のprefill（プロンプト処理）とdecode（生成）で量子化の形式・重み・置き場所を分ける「分離型量子化」を、前提知識ゼロから解説。1-bit GGUFの精度を2倍以上にしたprefillerと、SSDから重みを流すODPの仕組みと限界まで。 03 ·推論・高速化·★ 会員·論文·8分で読めます 論文解説: DeepSeek-V4.1-Flash — KVキャッシュ圧縮をどこまで詰められるか DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression 1トークンあたりのグローバルKVキャッシュを890バイトまで縮めたDeepSeek-V4.1-Flash。層の上下分割(CED)、層をまたぐKV共有(CSA2)、FP4キャッシュ、SWA Bounded Replayの4つを、前提知識なしで仕組みから解説する。 04 ·学習手法・アライメント·無料·論文·27分で読めます QLoRA — 650億パラメータのモデルをGPU 1枚で微調整する LoRA: Low-Rank Adaptation of Large Language Models 650億パラメータのモデルは、16bitの重みだけで130GB——まだ何も学習していない状態で、である。QLoRAはこれを48GBのカード1枚に載せる。重みそのものの分布に合わせた4bit形式で凍結重みを格納し、量子化定数までもう一度量子化し、オプティマイザをCPUへページアウトする。そのうえで勾配はその4bit重みを通り抜け、小さな16bitアダプタにだけ流れ込む。 05 ·推論・高速化·無料·論文·11分で読めます KVキャッシュ圧縮 — 量子化・追い出し・共有で長文推論を軽くする KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache 文脈を長くすると、GPUに載る同時実行数が減る。犯人はKVキャッシュで、その大きさは1本の掛け算式で決まります。式の項は3つしかないので、圧縮の方向も3つしかありません——精度を落とす、捨てる、共有する。KIVI・H2O・SnapKV・GQA・アテンションシンクを、その3項の上に並べ直します。 06 ·Transformerの仕組み·★ 会員·論文·15分で読めます 論文解説: Gated DeltaNet はなぜ4bit量子化に耐えるのか — ハイブリッド27BのNVFP4 W4A4 Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM ハイブリッドLLMの再帰層(Gated DeltaNet)は4bit量子化に弱い、という通説を実測で否定した論文の解説。ゲートの対数パラメータ化とdelta則の上書きが、なぜ量子化ノイズを消してしまうのかを1から追う。 07 ·蒸留と圧縮·★ 会員·論文·13分で読めます 蒸留・量子化・枝刈りの使い分け — 小さくする3つの道 Distilling the Knowledge in a Neural Network モデルを小さくする道は3本あります。数値の目盛りを粗くする量子化、重みそのものを間引く枝刈り、小さいモデルに作り直す蒸留。圧縮率・精度・実装コストの三軸で正面から比べ、「訓練を伴うものを先に、量子化を最後に」という組み合わせ順序の理由まで、前提知識ゼロから。 08 ·推論・高速化·無料·13分で読めます 推論コスト削減の実務 — 何から手を付けるか 量子化も蒸留も効きますが、たいていの現場ではその前に「品質を1ミリも賭けずに済む手」が残っています。請求書を4つの数に分解し、キャッシュ→バッチング→短縮→圧縮の順に並べ替える。各手の効き方と、順序を間違えたときに何が壊れるかまで。 09 ·推論・高速化·無料·10分で読めます LLM量子化を1から解説 — なぜ精度を落としても動くのか 16ビットの重みを4ビットに切り詰めても、モデルは文章を書き続けます。なぜ壊れないのか。スケールとゼロ点という2つの数から始め、重みは落とせるのに活性化が落としにくい理由（外れ値）、PTQとQATの分かれ道、INT8/INT4で実際に起きること、そして「perplexityだけ見て通す」という最も多い評価事故まで。 10 ·推論・高速化·無料·10分で読めます LLM量子化を1から解説 — なぜ精度を落としても動くのか 16ビットの重みを4ビットに切り詰めても、モデルは文章を書き続けます。なぜ壊れないのか。スケールとゼロ点という2つの数から始め、重みは落とせるのに活性化が落としにくい理由（外れ値）、PTQとQATの分かれ道、INT8/INT4で実際に起きること、そして「perplexityだけ見て通す」という最も多い評価事故まで。 11 ·アクセラレータ·無料·11分で読めます 数の表し方 — FP32からFP8・INT4まで 符号・指数・仮数という3つの区画を1から見て、指数部が「範囲」を、仮数部が「精度」を決めることを押さえます。そこからbfloat16が生まれた理由、FP8にE4M3とE5M2の2種類がある理由、INT8/INT4の等間隔量子化で何が失われるのかへ。最後に、学習と推論でどの型を選び、精度劣化をどう検知するかまで。 12 ·アクセラレータ·無料·11分で読めます 数の表し方 — FP32からFP8・INT4まで 符号・指数・仮数という3つの区画を1から見て、指数部が「範囲」を、仮数部が「精度」を決めることを押さえます。そこからbfloat16が生まれた理由、FP8にE4M3とE5M2の2種類がある理由、INT8/INT4の等間隔量子化で何が失われるのかへ。最後に、学習と推論でどの型を選び、精度劣化をどう検知するかまで。 13 ·画像圧縮·★ 会員·12分で読めます JPEGはなぜ劣化するのか — DCTと量子化を1から 写真が10分の1になるとき、何が捨てられているのか。色空間変換・8×8ブロック・DCT・量子化テーブル・ジグザグ走査を順に追い、「品質90」という数字の正体と、ブロックノイズ／モスキートノイズが生まれる場所まで降りていきます。最後は、画像を扱う人が実際に決めることへ落とします。