pre-train

事前学習する。大量データで先に学ばせる

1本の論文題名に登場

定義

目的の課題に取りかかる前に、大量の汎用データで先に学習させておく段階を指す動詞。ここで得た表現を土台に、少量のデータで微調整して個別課題に合わせるのが現在の標準的な流れである。事前学習は次の語の予測などラベル不要の自己教師ありで行うのが普通で、この点が後段の学習と大きく違う。

本番の学習より前の段階