学生版 社会人版
JA EN

#vanishing-gradient

1 記事

01 ·時系列データ系·無料·13分で読めます RNNとLSTMを1から理解する — Transformer時代になぜ学ぶのか 系列を「状態を持って1つずつ読む」という発想から出発し、同じ行列を何度も掛けることがなぜ勾配を消すのか、LSTMの3つのゲートが何を解いたのかを式と動く図で追います。Transformerに置き換わった理由と、それでもこの再帰の考え方が生き残る場所まで。