on-policy

定義

学習に使うデータを、いま改善しようとしている方策自身が生成した経験に限る強化学習の方式。訓練分布と方策が一致するため挙動が安定しやすい反面、更新のたびにデータを取り直す必要がありサンプル効率は低い。過去や他者のデータを再利用する off-policy と対をなす。

論文題名での読み方

強化学習の学習方式

この語が出てくる解説

• 論文解説: Beyond Teacher Assignment — 複数の専門家を1つのモデルに蒸留するとき「誰が教えるか」だけでは足りない理由Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation
• 論文解説: When EOS Tokens Disagree — オンポリシー蒸留で生徒が「止まれなくなる」原因は終了トークンの食い違いだったWhen EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation
• 論文解説: On-Policy Reverse Distillation — 弱い教師を「目標」でなく「方向」として使うEliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation