用語集 › batch
GLOSSARY
batch
まとめて処理する一まとまり
1本の論文題名に登場
定義
一度にまとめて処理する事例のかたまり。確率的勾配降下法ではこの単位ごとに勾配を計算して重みを更新するため、batch size は学習の安定性・速度・必要メモリを左右する主要なハイパーパラメータになる。全データを使う full batch と、1件ずつ更新する online の中間にあたる設計。
論文題名での読み方
batch size＝一度の処理量
この語が出てくる解説
- 正規化レイヤー全史 — BatchNormからRMSNormまでBatch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift