#prefill

1 記事

01 ·推論・高速化·★ 会員·論文·9分で読めます 論文解説: Disaggregated Quantization — LLMの「読む」と「書く」で量子化を分ける Disaggregated Quantization: Specializing LLM Prefill and Decode LLM推論のprefill（プロンプト処理）とdecode（生成）で量子化の形式・重み・置き場所を分ける「分離型量子化」を、前提知識ゼロから解説。1-bit GGUFの精度を2倍以上にしたprefillerと、SSDから重みを流すODPの仕組みと限界まで。