adafactor

メモリを節約する最適化手法の名前

1本の論文題名に登場

定義

二次モーメントを行と列の統計へ分解して保持することで、Adam よりはるかに少ないメモリで動く最適化手法。パラメータ数に比例した状態を持たずに済むため、オプティマイザ状態がモデル本体に匹敵する大規模 Transformer の学習で使われてきた。省メモリの代償として設定への敏感さが増す。

固有名。省メモリAdam