#llama-cpp

2 記事

01 ·推論・高速化·★ 会員·論文·9分で読めます 論文解説: Disaggregated Quantization — LLMの「読む」と「書く」で量子化を分ける Disaggregated Quantization: Specializing LLM Prefill and Decode LLM推論のprefill（プロンプト処理）とdecode（生成）で量子化の形式・重み・置き場所を分ける「分離型量子化」を、前提知識ゼロから解説。1-bit GGUFの精度を2倍以上にしたprefillerと、SSDから重みを流すODPの仕組みと限界まで。 02 ·モデル系統図鑑·無料·11分で読めます Llama系を1から解説 — オープンLLMの本流 MetaのLlamaはなぜオープンLLMの本流になったのか。Llama 1の逆張り設計からLlama 3.xまでの系譜、llama.cpp・GGUF・Ollamaのエコシステム、そして商用利用前に必ず読むべきライセンスの罠を、前提知識ゼロから解説する。