large-batch

大きなバッチの。一度に大量をまとめて処理する

2本の論文題名に登場

定義

一度に大量のサンプルをまとめて勾配を計算する学習設定。多数のGPUを遊ばせないため大規模学習では必須だが、学習率の再調整やウォームアップが要り、ある大きさを超えると追加のサンプルが1ステップあたりの進歩をほとんど増やさない。設定値そのものより、その大きい側の領域を指す語。

大量まとめて学習