GLOSSARY

shampoo

行列の前処理を使う最適化手法の名前

1本の論文題名に登場

定義

パラメータテンソルの各次元ごとに前処理行列を持つ最適化手法の名前。Adam のような対角スケーリングより豊かな座標間の相関を捉えられる一方、行列の逆べき乗を計算するコストがかかる。そのコストを複数ステップに分散させる実装が現れ、大規模学習で再び注目されている。

固有名。最適化器