advantage

定義

強化学習では、その状態で当の行動を選ぶことが平均と比べてどれだけ得かを表す量（A = Q − V）。基準値を引くことで期待勾配を変えずに分散を下げられるため、方策勾配法や PPO の中心的な部品になっている。日常語の「利点」の意味でも普通に使われるので文脈で判断する。

論文題名での読み方

その行動の得の度合い

この語が出てくる解説

• 論文解説: SA-MRPO — 満点の科目を勉強し続けるな。飽和した報酬から勾配を引きはがすLearn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization