#nvfp4

2 記事

01 ·推論・高速化·★ 会員·論文·9分で読めます 論文解説: Disaggregated Quantization — LLMの「読む」と「書く」で量子化を分ける Disaggregated Quantization: Specializing LLM Prefill and Decode LLM推論のprefill（プロンプト処理）とdecode（生成）で量子化の形式・重み・置き場所を分ける「分離型量子化」を、前提知識ゼロから解説。1-bit GGUFの精度を2倍以上にしたprefillerと、SSDから重みを流すODPの仕組みと限界まで。 02 ·Transformerの仕組み·★ 会員·論文·15分で読めます 論文解説: Gated DeltaNet はなぜ4bit量子化に耐えるのか — ハイブリッド27BのNVFP4 W4A4 Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM ハイブリッドLLMの再帰層(Gated DeltaNet)は4bit量子化に弱い、という通説を実測で否定した論文の解説。ゲートの対数パラメータ化とdelta則の上書きが、なぜ量子化ノイズを消してしまうのかを1から追う。