学生版 社会人版
JA EN

#s4

1 記事

01 ·LLM — 大規模言語モデル·無料·論文·16分で読めます Mamba と状態空間モデル(SSM) — 注意機構なしで系列を扱う Efficiently Modeling Long Sequences with Structured State Spaces 注意機構は「全部を覚えて毎回見返す」方式で、その代償が文長の2乗の計算量です。状態空間モデルは逆に「固定サイズのメモを更新し続ける」方式で、系列長に対して線形に伸びます。連続時間の線形システムから出発し、S4がなぜ畳み込みに化けるのか、Mambaが何を「選択的」にして畳み込みを捨てたのか、そしてどこで注意機構に負けるのかまでを前提知識ゼロから追います。