reward

定義

強化学習で、ある行動や出力がどれだけ望ましいかを表す数値の信号。方策はこの値の期待値を上げる方向に更新される。言語モデルでは人間の選好から学んだ報酬モデルが人手評価の代わりを務めるが、報酬の抜け穴を突く報酬ハッキングが起きやすく、設計の質がそのまま挙動に出る。

論文題名での読み方

強化学習の学習信号

この語が出てくる解説

• 論文解説: RewardVerse — 採点表を先に作ってから動画を採点する報酬モデル（RGPO）RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling
• 論文解説: Beyond Solver Verdicts — ソルバーが「正しい」と言っても翻訳は間違っているかもしれないBeyond Solver Verdicts: Generative Reward Models for Autoformalization
• DPOとその後 — RLHFを単純化する系譜Direct Preference Optimization: Your Language Model is Secretly a Reward Model