#rlvr

6 記事

01 ·LLM — 大規模言語モデル·★ 会員·論文·12分で読めます 論文解説: Bellman Policy Optimization — 価値モデルなしで「方策ミラー降下」をLLMに持ち込む Bellman Policy Optimization ゴールでしか採点されないLLMの強化学習で、途中の状態価値を一切推定せずに方策ミラー降下（PMD）と同じ最適解を狙うBPO (arXiv:2609.15987)。ベルマン方程式の「伸縮する和」から実用損失までを、論文本文だけを根拠に1から解説する。 02 ·学習手法・アライメント·★ 会員·論文·20分で読めます 論文解説: DataFlex-RL — RLVRの「データ政策」11手法は一様サンプリングに勝てたか。12シードで測り直した結果 DataFlex-RL: An Evaluation Platform for RLVR Data Policies 「良いロールアウトだけ学習に使えば強くなる」はRLVRの常識になりつつある。DataFlex-RL (arXiv:2609.06107) は選択・再重み付け・混合適応の13構成を同じGRPOレシピ・12シードで比べ、どれも一様サンプリングとの差が95%区間でゼロをまたぐと報告した。評価ベンチマークの選び方で勝者が入れ替わる事実も含め、論文本文に沿って読み解く。 03 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: On-Policy Reverse Distillation — 弱い教師を「目標」でなく「方向」として使う Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation 弱い教師モデルが事後学習で獲得した「方策の変化」を、生徒の最適化目標にはせず、生徒自身の方策勾配を増幅する向きとしてだけ使う手法 OPRD を、前提知識ゼロから解説する。 04 ·LLM — 大規模言語モデル·★ 会員·論文·21分で読めます 論文解説: FlowBalance — 検証器で接地した自己改善、自分の推論経験から分布を学ぶ FlowBalance: Verifier-Grounded Self-Improvement from On-Policy Reasoning Experience 自分の答案から学ぶループは、答え合わせが疎すぎるか、自分の自信を鵜呑みにするかで壊れる。FlowBalanceは「密な自己採点の向きを検証器に決めさせる」という一手で両方を回避し、応答全体の正規化分布として学習する。前提知識ゼロから解説する。 05 ·無料·論文·21分で読めます 論文解説: VBVR-Pro — 「絵で考える」AIを、訓練でき・採点でき・比較できるようにした実験場 VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning 画像や動画の生成そのものを「思考の場」として扱うネイティブ視覚推論。VBVR-Proは300個の手続き生成タスクと、VLM審判に頼らない決定論的な採点器を用意し、画像・動画・インターリーブ生成を同じ土俵で比較した。前提知識ゼロから読める解説。 06 ·無料·論文·12分で読めます 論文解説: DEFT-RLVR — 自動運転VLMに未来の軌跡を「先に見せる」と推論が捏造される Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs 自動運転VLMのCoT教師データ作成で正解軌跡を先に見せると、教師は理由を後付けし幻覚が29%→50%に倍増する——この「軌跡アンカリングバイアス」を実証し、走行計画を選択問題化(AD-MCQ)して軌跡の開示を決断の後に遅延させる強化学習 DEFT-RLVR (arXiv:2608.01755) を論文本文だけを根拠に解説する。