#serving

6 記事

01 ·時系列データ系·★ 会員·論文·10分で読めます 論文解説: STEPQuant — Delta則の再帰状態は「いつ・どこの」量子化誤差が効くのか STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization 線形注意の再帰状態は固定サイズでも、同時リクエストが増えると重みより大きなメモリを食う。素直に低ビット化すると誤差が更新のたびに積み上がる。誤差が『いつまで残るか』と『どの行に乗るか』でビットとスケールを配るSTEPQuantを1から解説する。 02 ·推論・高速化·★ 会員·論文·18分で読めます 論文解説: BeaconKV — 「思考を読み返す瞬間」を先読みしてKVキャッシュを捨てる BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference 推論モデルは長い思考の途中で、序盤に立てた方針をふと読み返す。その瞬間のクエリは埋め込み空間で少数の塊を作る——だから塊の代表（ビーコン）を数十本持っておけば、どのKVを残すべきか先読みできる。学習不要で最大5.8倍のメモリ削減・4.3倍超のスループットを実測した論文を、式とコードで読み解きます。 03 ·推論・高速化·無料·論文·11分で読めます KVキャッシュ圧縮 — 量子化・追い出し・共有で長文推論を軽くする KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache 文脈を長くすると、GPUに載る同時実行数が減る。犯人はKVキャッシュで、その大きさは1本の掛け算式で決まります。式の項は3つしかないので、圧縮の方向も3つしかありません——精度を落とす、捨てる、共有する。KIVI・H2O・SnapKV・GQA・アテンションシンクを、その3項の上に並べ直します。 04 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: Random Attention — KVキャッシュの追い出しは「ランダムで十分」だった Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning KVキャッシュから何を捨てるかを決める「重要度スコア」は、ほとんど効いていなかった。プロンプトだけ守って残りをヘッドごとに一様ランダムで捨てるだけで最強手法と同等の精度、しかもvLLMで32〜43%速い。4モデル×6タスクの実測と、なぜそうなるかの2つの対照実験を読み解きます。 05 ·推論・高速化·無料·論文·13分で読めます LLMサービングを1から — vLLM・連続バッチングで、GPUを遊ばせない Efficient Memory Management for Large Language Model Serving with PagedAttention モデルが動くことと、100人ぶんのリクエストを捌けることは別の問題です。重みも答えも変えず、投げる順番とまとめ方だけで同じGPUの処理量が何倍も変わる——その理屈を演算強度・連続バッチング・PagedAttentionの3点から追い、スループットとレイテンシが同時には良くならない理由と実測値の読み方まで。 06 ·推論・高速化·無料·10分で読めます KVキャッシュを1から理解する — 推論高速化の核心 LLMは1トークンずつ答えを吐きます。素朴に実装すると、1トークン出すたびに文全体を計算し直すという壮大な無駄が生まれる。KとVは過去のぶんが二度と変わらない——この一点だけで計算量が桁で落ちます。代わりに払うのがメモリで、その量は自分で見積もれます。バッチサイズと文脈長がなぜメモリで頭打ちになるのかまで。