pretraining

定義

特定のタスクを決めずに、大量のデータで次トークン予測などを解かせて汎用的な表現を作る最初の学習段階。計算費用の大半はここに集中し、使ったデータの構成と量が最終的な能力をおおむね決めてしまう。後段の微調整や事後学習は、能力を足すより出し方を整える工程と位置づけられる。

論文題名での読み方

微調整の前の工程

この語が出てくる解説

• 論文解説: マルチモーダル事前学習の『物理法則』— 知識はどのモダリティからどこへ流れるのかTowards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes