post-training

定義

事前学習を終えたモデルに実用上の振る舞いを与える追加学習の総称。教師ありファインチューニング(SFT)、選好による強化学習(RLHF/DPO)、推論を伸ばす学習などを含む。知識を入れる pre-training に対し「どう答えるか」を整える工程で、同規模モデルの差の多くはここで生まれる。

論文題名での読み方

SFT/RLHFの総称

この語が出てくる解説

• 論文解説: Video Generation Models: A Survey of Post-Training and Alignment — 動画生成AIを「言うことを聞く」ようにする4つの道具箱Video Generation Models: A Survey of Post-Training and Alignment
• 論文解説: Post-Training Leaves Behavioral Shadows on Unrelated Decisions — 無関係な「1単語」から能力が移るPost-Training Leaves Behavioral Shadows on Unrelated Decisions
• 論文解説: Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training — 122B・256Kトークンで下書きモデルを方針と一緒に学習させるOnline Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training