recurrent

定義

前の時刻の内部状態を次の時刻に持ち越しながら系列を処理する構造を指す。RNN や LSTM がこれにあたり、系列長にかかわらずメモリが一定という利点がある一方、並列化しにくいことから Transformer に主役を譲った。近年は状態空間モデルとして再評価が進んでいる。

論文題名での読み方

RNNのRの部分

この語が出てくる解説

• 論文解説: Gated DeltaNet はなぜ4bit量子化に耐えるのか — ハイブリッド27BのNVFP4 W4A4Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM
• 学習が壊れた時の診断学 — loss発散・NaN・停滞の切り分けOn the difficulty of training Recurrent Neural Networks
• 論文解説: BDH-CQ — 言葉にせずに考えるAI。再帰メモリ×潜在推論がARCのコスト効率を塗り替えたBDH-CQ: In-Context Learning with Recurrent Latent Reasoning