training

定義

モデルにデータを与えてパラメータを更新する具体的な工程。大規模な事前学習(pre-training)と、その後の微調整・事後学習に分かれ、計算コストの大半をここが占める。重みを更新しない推論(inference)とは対になる作業。

論文題名での読み方

学習させる作業を指す

この語が出てくる解説

• 論文解説: 訓練データが1問でも、オンポリシー蒸留は数百ステップ伸び続けるRethinking On-Policy Distillation of Large Language Models II: One Training Example
• 論文解説: LLaDA-Image — 画像だけで土台を作り、2〜4ステップまで蒸留する完全公開レシピLLaDA-Image: Building Strong Image Generators with Fully Open Training Recipes
• 論文解説: Compile by Training — 自然言語の仕様を「手元で動く関数」にコンパイルするCompile by Training: Turning Natural-Language Specifications into Local Neural Functions