#long-context

9 記事

01 ·推論・高速化·★ 会員·論文·8分で読めます 論文解説: DeepSeek-V4.1-Flash — KVキャッシュ圧縮をどこまで詰められるか DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression 1トークンあたりのグローバルKVキャッシュを890バイトまで縮めたDeepSeek-V4.1-Flash。層の上下分割(CED)、層をまたぐKV共有(CSA2)、FP4キャッシュ、SWA Bounded Replayの4つを、前提知識なしで仕組みから解説する。 02 ·Transformerの仕組み·★ 会員·論文·22分で読めます 論文解説: SAS — 疎注意の「どのブロックを読むか」を言語モデル損失で端から端まで学習する SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking 長い文脈のどのブロックを読むかを決める「セレクター」は、従来は元モデルの注意分布を真似る蒸留で訓練されていた。SASはセレクターの点数を対数ゲートとしてsoftmaxの中に注入し、Top-Kで止まっていた勾配を通して、次トークン予測の損失だけで選択を学習させる。1024トークン予算でGPQA-Diamondが10.6〜15.5点改善した論文を、4つの設計判断のアブレーションと勾配の式まで追って読む。 03 ·推論・高速化·無料·論文·11分で読めます KVキャッシュ圧縮 — 量子化・追い出し・共有で長文推論を軽くする KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache 文脈を長くすると、GPUに載る同時実行数が減る。犯人はKVキャッシュで、その大きさは1本の掛け算式で決まります。式の項は3つしかないので、圧縮の方向も3つしかありません——精度を落とす、捨てる、共有する。KIVI・H2O・SnapKV・GQA・アテンションシンクを、その3項の上に並べ直します。 04 ·LLM — 大規模言語モデル·無料·論文·16分で読めます Mamba と状態空間モデル(SSM) — 注意機構なしで系列を扱う Efficiently Modeling Long Sequences with Structured State Spaces 注意機構は「全部を覚えて毎回見返す」方式で、その代償が文長の2乗の計算量です。状態空間モデルは逆に「固定サイズのメモを更新し続ける」方式で、系列長に対して線形に伸びます。連続時間の線形システムから出発し、S4がなぜ畳み込みに化けるのか、Mambaが何を「選択的」にして畳み込みを捨てたのか、そしてどこで注意機構に負けるのかまでを前提知識ゼロから追います。 05 ·Transformerの仕組み·★ 会員·論文·15分で読めます 論文解説: Gated DeltaNet はなぜ4bit量子化に耐えるのか — ハイブリッド27BのNVFP4 W4A4 Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM ハイブリッドLLMの再帰層(Gated DeltaNet)は4bit量子化に弱い、という通説を実測で否定した論文の解説。ゲートの対数パラメータ化とdelta則の上書きが、なぜ量子化ノイズを消してしまうのかを1から追う。 06 ·推論・高速化·★ 会員·論文·18分で読めます 論文解説: LatentPress — 圧縮した文脈を、テキストにも画像にも戻さずLLMに直接読ませる LatentPress: Context Compression Beyond Text and Vision 長い会話履歴や文書を「テキストの要約」でも「画像」でもなく、凍結したLLMがそのまま読める連続ベクトル（ソフトトークン）に書き込む手法。LongMemEvalで7.70倍圧縮しながら非圧縮を上回った論文を、前提知識ゼロから解説する。 07 ·推論・高速化·★ 会員·論文·13分で読めます 論文解説: Language Models Can Control Their Own Attention — モデルに「どこを見るか」を宣言させる Language Models Can Control Their Own Attention 長文脈のデコードでは、モデルは毎ステップKVキャッシュを丸ごと読み直している。Declarative Attention は、モデル自身に思考の中で「次はどこを見る」と宣言させ、推論エンジンがその宣言からアテンションマスクを作る。既製モデルにゼロショットで適用して注意トークンを52.0%/31.1%削減した論文を解説する。 08 ·VLM・マルチモーダル·★ 会員·論文·10分で読めます 動画理解を1から — フレームの束から時間の理解へ Is Space-Time Attention All You Need for Video Understanding? (TimeSformer) 動画は「画像がたくさん」ではない。何枚をどう選ぶか（サンプリング）、フレーム同士をどう混ぜるか（時間注意）、長い動画をどう縮めるか（圧縮）の3つの問いに分けて、前提知識ゼロから式・動く図・コードで解説する。 09 ·Transformerの仕組み·★ 会員·論文·13分で読めます 長文脈LLMの技術 — RoPE補間からリング注意まで Extending Context Window of Large Language Models via Positional Interpolation 「コンテキスト長128K」の中身は、性格の違う二つの壁を別々に越えた結果です。位置の壁を越える位置補間・NTK・YaRN、計算の壁を越える窓とリング注意、そして越えられたかを測るneedle試験の読み方を、前提知識ゼロから順に追います。