off-policy

方策外。別の方策で集めた経験から学ぶこと

1本の論文題名に登場

定義

強化学習で、いま改善しようとしている方策とは別の方策が集めた経験を使って学習する方式のこと。過去のデータやリプレイバッファを再利用できるためデータ効率が高く、Q学習や DQN、SAC がこの系統にあたる。学習中の方策自身が集めた経験しか使わない on-policy(PPO など)とは、この一点で区別される。

論文題名での読み方

強化学習の学習方式

この語が出てくる解説

論文解説 WarpSAC: 強化学習の「安定化装置」は、データが潤沢になると足枷に変わるWarpSAC: Towards the Pinnacle of Scalable Off-policy RL by Rethinking Exploration and Exploitation