#recurrent-state

1 記事

01 ·時系列データ系·★ 会員·論文·10分で読めます 論文解説: STEPQuant — Delta則の再帰状態は「いつ・どこの」量子化誤差が効くのか STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization 線形注意の再帰状態は固定サイズでも、同時リクエストが増えると重みより大きなメモリを食う。素直に低ビット化すると誤差が更新のたびに積み上がる。誤差が『いつまで残るか』と『どの行に乗るか』でビットとスケールを配るSTEPQuantを1から解説する。