rollouts

定義

方策を実際に環境で走らせて得た試行のこと。1回の rollout が行動と結果の一連の記録となり、その集合が学習信号の元になる。同じ問題に対して複数本を走らせ、正解に到達したものだけを残して学習に使うやり方は、推論モデルの強化学習で標準的な手続きになっている。

論文題名での読み方

強化学習の試行データ

この語が出てくる解説

• 論文解説: Annotations as Rollouts — 正解データを「9本目の答案」として強化学習に混ぜるAnnotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs