data-constrained

データが足りない状況の

2本の論文題名に登場

定義

計算資源よりも使える学習データの量が先に頭打ちになる状況を指す語。この設定では同じデータを複数エポック繰り返すことになり、何回までなら性能が伸び続けるか、どこから収穫逓減や過学習が始まるかが研究対象になる。高品質な自然テキストの枯渇が現実の論点として背景にある。

データ不足下での学習