#linear-attention

3 記事

01 ·時系列データ系·★ 会員·論文·10分で読めます 論文解説: STEPQuant — Delta則の再帰状態は「いつ・どこの」量子化誤差が効くのか STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization 線形注意の再帰状態は固定サイズでも、同時リクエストが増えると重みより大きなメモリを食う。素直に低ビット化すると誤差が更新のたびに積み上がる。誤差が『いつまで残るか』と『どの行に乗るか』でビットとスケールを配るSTEPQuantを1から解説する。 02 ·Transformerの仕組み·★ 会員·論文·15分で読めます 論文解説: Gated DeltaNet はなぜ4bit量子化に耐えるのか — ハイブリッド27BのNVFP4 W4A4 Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM ハイブリッドLLMの再帰層(Gated DeltaNet)は4bit量子化に弱い、という通説を実測で否定した論文の解説。ゲートの対数パラメータ化とdelta則の上書きが、なぜ量子化ノイズを消してしまうのかを1から追う。 03 ·Transformerの仕組み·★ 会員·論文·18分で読めます 論文解説: Qwen3.8-Next の設計 — 精度・効率・学習安定性を1つの問題として解く On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability Qwen3.8-Flash-Next の設計報告を1から読み解く。GDNハイブリッド、QSA、Gated Residual、N-gram埋め込みの4部品を、論文が使った「損失・コスト・安定性」の3軸で追う。