#policy-optimization

1 記事

01 ·LLM — 大規模言語モデル·★ 会員·論文·12分で読めます 論文解説: Bellman Policy Optimization — 価値モデルなしで「方策ミラー降下」をLLMに持ち込む Bellman Policy Optimization ゴールでしか採点されないLLMの強化学習で、途中の状態価値を一切推定せずに方策ミラー降下（PMD）と同じ最適解を狙うBPO (arXiv:2609.15987)。ベルマン方程式の「伸縮する和」から実用損失までを、論文本文だけを根拠に1から解説する。