#kv-cache

11 記事

01 ·★ 会員·論文·11分で読めます 論文解説: MaP-WAM — ロボットの「記憶」を計画に変え、履歴が伸びても実行器の重さを一定に保つ Memory as Plans: World-Action Modeling with Memory-Grounded Planning 過去を覚えていないと解けないロボット作業で、長い映像履歴を毎回実行器に食わせるのをやめ、「次に何をするか」の計画に圧縮して渡す MaP-WAM を解説。進捗を行動と同時に予測して区切りを自分で判断し、RMBench 83.3%・実機78.0%を報告した設計を、論文本文に沿って1から読む。 02 ·推論・高速化·★ 会員·論文·8分で読めます 論文解説: DeepSeek-V4.1-Flash — KVキャッシュ圧縮をどこまで詰められるか DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression 1トークンあたりのグローバルKVキャッシュを890バイトまで縮めたDeepSeek-V4.1-Flash。層の上下分割(CED)、層をまたぐKV共有(CSA2)、FP4キャッシュ、SWA Bounded Replayの4つを、前提知識なしで仕組みから解説する。 03 ·Transformerの仕組み·★ 会員·論文·22分で読めます 論文解説: SAS — 疎注意の「どのブロックを読むか」を言語モデル損失で端から端まで学習する SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking 長い文脈のどのブロックを読むかを決める「セレクター」は、従来は元モデルの注意分布を真似る蒸留で訓練されていた。SASはセレクターの点数を対数ゲートとしてsoftmaxの中に注入し、Top-Kで止まっていた勾配を通して、次トークン予測の損失だけで選択を学習させる。1024トークン予算でGPQA-Diamondが10.6〜15.5点改善した論文を、4つの設計判断のアブレーションと勾配の式まで追って読む。 04 ·推論・高速化·★ 会員·論文·18分で読めます 論文解説: BeaconKV — 「思考を読み返す瞬間」を先読みしてKVキャッシュを捨てる BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference 推論モデルは長い思考の途中で、序盤に立てた方針をふと読み返す。その瞬間のクエリは埋め込み空間で少数の塊を作る——だから塊の代表（ビーコン）を数十本持っておけば、どのKVを残すべきか先読みできる。学習不要で最大5.8倍のメモリ削減・4.3倍超のスループットを実測した論文を、式とコードで読み解きます。 05 ·推論・高速化·無料·論文·11分で読めます KVキャッシュ圧縮 — 量子化・追い出し・共有で長文推論を軽くする KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache 文脈を長くすると、GPUに載る同時実行数が減る。犯人はKVキャッシュで、その大きさは1本の掛け算式で決まります。式の項は3つしかないので、圧縮の方向も3つしかありません——精度を落とす、捨てる、共有する。KIVI・H2O・SnapKV・GQA・アテンションシンクを、その3項の上に並べ直します。 06 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: Random Attention — KVキャッシュの追い出しは「ランダムで十分」だった Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning KVキャッシュから何を捨てるかを決める「重要度スコア」は、ほとんど効いていなかった。プロンプトだけ守って残りをヘッドごとに一様ランダムで捨てるだけで最強手法と同等の精度、しかもvLLMで32〜43%速い。4モデル×6タスクの実測と、なぜそうなるかの2つの対照実験を読み解きます。 07 ·推論・高速化·★ 会員·論文·13分で読めます 論文解説: Language Models Can Control Their Own Attention — モデルに「どこを見るか」を宣言させる Language Models Can Control Their Own Attention 長文脈のデコードでは、モデルは毎ステップKVキャッシュを丸ごと読み直している。Declarative Attention は、モデル自身に思考の中で「次はどこを見る」と宣言させ、推論エンジンがその宣言からアテンションマスクを作る。既製モデルにゼロショットで適用して注意トークンを52.0%/31.1%削減した論文を解説する。 08 ·★ 会員·論文·20分で読めます 論文解説: 直近12フレームだけを見る超長尺3D復元 — Revisiting Local Context for Long-Horizon Streaming 3D Reconstruction Revisiting Local Context for Long-Horizon Streaming 3D Reconstruction 1万フレームを超える動画からカメラ軌跡と3D形状をその場で作り続ける課題に対し、長距離メモリを一切持たず「直近12フレーム」だけで戦う ABot-Recon を、前提知識ゼロから解説する。 09 ·推論・高速化·無料·論文·15分で読めます GPUメモリ不足サバイバル — OOMの原因と対処の全パターン Training Deep Nets with Sublinear Memory Cost `CUDA out of memory` は、最後に失敗した確保だけを報告する不親切なエラーです。犯人はたいてい、すでに載っている側にいます。何がVRAMを食うのかを5つの箱に分けて数え、パラメータ1個あたり16バイトという学習の固定費を出し、そこから勾配チェックポイント・オプティマイザ圧縮・オフロード・KVキャッシュ管理・断片化まで、打ち手を副作用の小さい順に。 10 ·Transformerの仕組み·無料·論文·11分で読めます Attentionの変種図鑑 — MQA・GQA・スライディング窓・線形注意 Fast Transformer Decoding: One Write-Head is All You Need MQA・GQA・スライディング窓・線形注意は、それぞれ勝手に生まれた別々の工夫ではありません。KVキャッシュの大きさを決める一本の掛け算式があり、変種は「どの項を叩いたか」で分類できます。系譜を式の上に並べ直すと、何を捨てて何を得たのかが一目で見えます。 11 ·推論・高速化·無料·10分で読めます KVキャッシュを1から理解する — 推論高速化の核心 LLMは1トークンずつ答えを吐きます。素朴に実装すると、1トークン出すたびに文全体を計算し直すという壮大な無駄が生まれる。KとVは過去のぶんが二度と変わらない——この一点だけで計算量が桁で落ちます。代わりに払うのがメモリで、その量は自分で見積もれます。バッチサイズと文脈長がなぜメモリで頭打ちになるのかまで。