gradients

定義

勾配の複数形で、全パラメータそれぞれについて求めた損失の微分値の集まりを指す。学習の1ステップはこれらをまとめて計算して逆向きに重みを動かす処理なので、実務では「勾配が流れる」「勾配を溜める」のように複数形で語られる。単数形が量そのものを指すのに対し、複数形は学習中を流れる信号としての側面が強い。

論文題名での読み方

学習の更新に使う量

この語が出てくる解説

• 拡散モデルの数学 — スコアとSDEで見る生成Generative Modeling by Estimating Gradients of the Data Distribution