#reinforcement-learning

36 記事

01 ·論文解説·★ 会員·論文·10分で読めます 論文解説: False Frontiers — 自己進化する検索エージェントの「共謀カンニング」を診断して断つ False Frontiers: Diagnosing and Mitigating Co-Cheating in Self-Evolving Search Agents 問題を作るAIと解くAIが同じ間違いで「一致」し、内部の報酬だけが伸びていく失敗＝co-cheatingを外部監査で可視化し、採点役を『そのソースを学習していない解答器』に差し替えるCrossFitで断つ論文。仕組み・実験・コスト・限界まで読み解く。 02 ·推論・高速化·★ 会員·論文·10分で読めます 論文解説: RewardVerse — 採点表を先に作ってから動画を採点する報酬モデル（RGPO） RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling 動画の報酬モデルは、点数が狭い範囲に固まったり言い回しでずれたりする（スカラードリフト）。RewardVerseは採点前に評価ルーブリックを生成し、項目ごとにトークン確率から連続スコアを読む。2段階のRGPOで、1観点30ペアだけで学習する。 03 ·LLM — 大規模言語モデル·★ 会員·論文·12分で読めます 論文解説: Just-in-Time Memory — エージェントの記憶は「読むとき」に整える Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents LLMエージェントの過去経験を、保存時ではなく「次の課題が分かった瞬間」に要約し直す JitMem を1から解説。なぜ学習が簡単になるのか、どの数字がどこまで言えるのかを論文本文に沿って整理する。 04 ·LLM — 大規模言語モデル·★ 会員·論文·12分で読めます 論文解説: Bellman Policy Optimization — 価値モデルなしで「方策ミラー降下」をLLMに持ち込む Bellman Policy Optimization ゴールでしか採点されないLLMの強化学習で、途中の状態価値を一切推定せずに方策ミラー降下（PMD）と同じ最適解を狙うBPO (arXiv:2609.15987)。ベルマン方程式の「伸縮する和」から実用損失までを、論文本文だけを根拠に1から解説する。 05 ·★ 会員·論文·11分で読めます 論文解説: SenseNova-U1.5 — エンコーダもVAEも使わず、1つのモデルで「見る」と「描く」を両立する SenseNova-U1.5: Towards Native Unified Visual Intelligence 画像理解用のエンコーダも生成用のVAEも持たず、ピクセルと言葉から直接学ぶ8Bの統合モデル SenseNova-U1.5。パッチの継ぎ目を消す空間デコーダと、「専門家を別々に鍛えてから1つに蒸留する」後学習を、論文本文に沿って1から解説する。 06 ·学習手法・アライメント·★ 会員·論文·16分で読めます 論文解説: SpeakerMem-R1 — グループチャットの「誰が・誰について・いつ」を忘れない二重記憶 SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue 複数人の会話を長期記憶するSpeakerMem-R1を1から解説。発言の原文と「人ごと・グループごと」に整理した状態を二本立てで持ち、記録係の小型モデル(Qwen2.5-3B)を話者ごとに採点する強化学習で鍛える仕組みを、式と実験結果から読み解く。 07 ·推論・高速化·★ 会員·論文·10分で読めます 論文解説: An Open Recipe for IMO Gold — オープンモデルで国際数学オリンピック金メダル水準に届いた「生成・検証・修正」の設計 An Open Recipe for IMO Gold: Training Nemotron for Olympiad Mathematics Nemotron 3 Ultra の3チェックポイントで証明を生成・検証・修正し、IMO 2026 で42点中30点(金メダル水準)に届いたNVIDIAの公開レシピを、推論時計算の設計という観点から1から解説します。 08 ·推論・高速化·★ 会員·論文·14分で読めます 論文解説: Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training — 122B・256Kトークンで下書きモデルを方針と一緒に学習させる Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training RL学習の時間を食うロールアウト生成を投機的デコーディングで速くし、下書きモデルを方針と一緒に学習し続ける。NVIDIAがコンテキスト並列とパイプライン並列の2つの壁をどう越えたかを、論文本文に沿って1から解説。 09 ·★ 会員·論文·24分で読めます 論文解説: Miles v0.1 — 「本番で回るポストトレーニング基盤」を解剖する Miles v0.1: Production-Level Post-Training 巨大MoEをエージェント的RLで後追い学習させるための全部入りシステムMilesを、論文本文から解説。生成側と学習側の「数値のズレ」をどう潰すか、744Bモデルを64GPUで回した実測はどうだったかまで。 10 ·エージェント·★ 会員·論文·12分で読めます 論文解説: Iris — 検索エージェントを「登らせる」問題合成とSFT↔RL交互学習 Iris: Climbing to the Search Frontier ウェブのリンク構造から多段の問いを逆算し、SFTとRLを交互に回して検索エージェントを鍛える技術報告。文脈管理の有無を両方測ることで「モデルの実力」と「推論時の仕掛け」を切り分けた点まで読み解く。 11 ·エージェント·★ 会員·論文·17分で読めます 論文解説: WHALE — モデルの重みとハーネスを交互に鍛える WHALE: A Simple Recipe for Joint Harness-Weight Optimization エージェントの性能は、モデルの重みと、それを取り囲むハーネス（実行コード）の両方で決まる。片方だけを磨くともう片方が足枷になる——この「動くボトルネック」を2つのフェーズの交互実行だけで解いた論文を、比喩から数式・実測値・限界まで1から解説する。 12 ·エージェント·★ 会員·論文·12分で読めます 論文解説: CogEvol — 報酬が測れないものを、強化学習は静かに壊す CogEvol: Towards Efficient and Reliable Learning Environment Generation 教材をワンパスで生成するモデル群 CogEvol の技術報告。中心にあるのは「スクリーンショットだけを見る報酬でRLを回すと、見た目は立派で遊べないゲームが量産される」という実際に起きた事故と、その修正の記録。 13 ·学習手法・アライメント·★ 会員·論文·19分で読めます 論文解説: It Takes Two to Match — 検索の「両側」をRLで共進化させるCoGR It Takes Two to Match: Co-Evolving Generative Retriever with Reinforcement Learning 検索の一段目を、クエリ側とアイテム側の2つのLLMに「キーワードを書かせる」ことで作り直す論文。両者を強化学習で交互に鍛えて語彙を歩み寄らせるCoGRを、前提知識ゼロから解説する。 14 ·エージェント·★ 会員·論文·15分で読めます 論文解説: 良いエージェント学習データとは何か — ACE（正確さ・複雑さ・多様性）という見方 What Makes Good Agentic Data? An ACE Lens on Data Generation for LLM Agents エージェント用の学習データを (環境, タスク, 対話, 検証器) の4点セットとして捉え直し、生成を「正確さで通し、複雑さで置き、多様さで広げる」制約付き分布設計として整理したサーベイ論文の解説。 15 ·エージェント·★ 会員·論文·19分で読めます 論文解説: UI-Venus-2 — 画面を見て操作するAIを、ベンチマークから実運用へ UI-Venus-2 Technical Report スマホ・ブラウザ・デスクトップを画面だけ見て操作するGUIエージェント UI-Venus-2 の技術報告書を、前提知識ゼロから解説。環境・タスク・検証を同時に広げる設計と、その限界までを論文本文だけを根拠に読む。 16 ·エージェント·★ 会員·論文·22分で読めます 論文解説: Training Agents to Evolve with Their Harness — ハーネスごと進化するエージェントを訓練する Training Agents to Evolve with Their Harness: TaoLive Digital Avatar Agent Technical Report プロンプトやツール定義を毎週書き換える本番環境で、小型モデルはなぜ壊れるのか。淘宝ライブのAIアバター配信を動かすチームが提案する Harness-Aware Training（HAT）を、比喩から数式・実測値・限界まで1から解説する。 17 ·★ 会員·論文·17分で読めます 論文解説: Qwen-Drive-1.0 — VLMの形を変えずに、3D知覚と運転計画を「外付け」する Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving 事前学習済みVLMの構造を変えず、BEV知覚ヘッドとPlanning Expertを外付けするだけで3D検出・オキュパンシー・地図・軌跡生成を統合。汎用能力をほぼ落とさずNAVSIM PDMS 90.7を出した設計を、論文本文に沿って解説する。 18 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: On-Policy Distillationは本当に蒸留しているのか — ノイズまみれの教師から自己改善へ Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement 教師モデルの採点は3〜5割が誤っているのに、生徒はなぜか同じだけ伸びる。On-Policy Distillationの改善が「教師の真似」ではなく「低確率トークンの抑制」から来ていることを突き止め、教師を捨てた手法OPSAに至った論文を、前提知識ゼロから解説する。 19 ·学習手法・アライメント·★ 会員·論文·15分で読めます 論文解説: PaperGym — 論文1本を「採点基準つきの練習場」に変えて研究計画を学習させる PaperGym: Rubric-Centered Evolution for Research-Plan Generation 研究計画には正解がないので強化学習の「環境」が作れない。論文を4つの引き出しに分解し、問いと採点基準を別々の引き出しから作ることで、言い換えでは点が取れない練習場を20,000本ぶん自動生成した研究を、前提知識ゼロから解説する。 20 ·★ 会員·論文·29分で読めます 論文解説 Lucida — 部屋の動画を「動かせる部品」に戻す。精度を最後に回すという発想 Lucida: Parse, Generate, and Place for Composable Real-to-Sim Scene Modeling 実際の部屋を撮った動画から、個別に動かせる3Dアセットの集まりとして部屋を復元する研究。「解析→生成→配置」の順序は保ったまま、各段階に要求する精度を組み替え、最後の配置をVLMのGUI操作エージェントに閉ループで解かせる。 21 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説 TTPO: 正解ラベルなしで、テストの最中にモデルを鍛える TTPO: Test-Time Policy Optimization 多数決で作った疑似ラベルは競技数学では約85%外れる。それでも学習が成立するのはなぜか。賛成した出力は蒸留し、反対した出力はRLで罰するという「非対称」な設計を、前提知識ゼロから解説する。 22 ·推論・高速化·★ 会員·論文·12分で読めます 論文解説 WarpSAC: 強化学習の「安定化装置」は、データが潤沢になると足枷に変わる WarpSAC: Towards the Pinnacle of Scalable Off-policy RL by Rethinking Exploration and Exploitation GPU並列シミュレータで経験データが桁違いに増えると、SACの正規化やclipped double-Qといった「安定化装置」は助けから足枷に変わる。論文は3本の軸を切り分け、データ状況に応じて安定化装置を外すという処方箋(WarpSAC)を示した。 23 ·蒸留と圧縮·★ 会員·論文·13分で読めます オンポリシー蒸留 — 生徒自身の出力で教わる On-Policy Self-Distillation without Any Supervision 教師の書いた文を写経するのが従来の蒸留、生徒が書いた文に教師が赤を入れるのがオンポリシー蒸留です。違いは損失の式のたった1か所。その1か所が露出バイアスを消し、蒸留を強化学習の一種に変え、u-OPSD や AgentOPSD のような自己蒸留への入口になります。 24 ·論文解説·★ 会員·論文·19分で読めます 論文解説: ゲーム開発を「検証できる軌跡データ工場」にする — RLHEV と AWoMo Agentic Game Development as a Verifiable Trajectory Data Engine for Scaling World Models 世界モデルに足りないのはデータでも計算でもなく「安い答え合わせ」だ、という主張の論文。ゲームエンジンの自動チェックと開発者の採否判断を組み合わせた後訓練 RLHEV を、前提知識ゼロから式・動く図・実験結果まで追う。 25 ·論文解説·★ 会員·論文·14分で読めます 論文解説: Apodex 1.1 — 「完了した仕事」を単位にエージェントをスケールさせる Apodex 1.1: Scaling Agentic Intelligence for Complex Work モデルを大きくするのでも推論時間を伸ばすのでもなく、「環境」と「協調」の2面をスケールさせる——Apodexチームの技術報告を、タスク契約の式からAgentOSの納品ゲート、数字と限界まで1から解説する。 26 ·無料·論文·15分で読めます 論文解説: Annotations as Rollouts — 正解データを「9本目の答案」として強化学習に混ぜる Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs 動画MLLMの強化学習では、モデルが引いた答案の中に正解がほとんど現れず学習信号が痩せる。OraRLは注釈データ自体を答案の1本として束に加え、そのとき壊れる『advantageの反転』を分解して直した手法。 27 ·エージェント·無料·論文·11分で読めます AlphaGoを1から — 探索と学習の結婚 Mastering the game of Go with deep neural networks and tree search (Silver et al. 囲碁が長く「解けない」とされた理由から始め、方策ネットワーク・価値ネットワーク・モンテカルロ木探索・自己対戦が互いの弱点をどう埋め合うかを式とコードで解きほぐす。最後に、この設計がLLMの推論時計算にどう受け継がれたかを整理する。 28 ·エージェント·★ 会員·論文·18分で読めます 論文解説: Co-RL — 正解ラベルなしでも、群れの多様性から推論が立ち上がる Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL 自分の答えを自分で採点し続けるとモデルは崩壊する。Co-RLは「隣のエージェントの多数決」を報酬にしてその輪を断ち切り、正解ラベルを一切使わずに教師あり学習に並ぶ。仕組み・力学の証明・実験値・落とし穴まで論文本文から解説する。 29 ·推論・高速化·★ 会員·論文·23分で読めます 論文解説: Agentic ESOpt — 逆伝播をやめて「モデルを揺らす」だけで、長丁場のLLMエージェントを鍛える Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Requirements 勾配を一切計算せず、パラメータにノイズを足した分身をG体走らせて良かった方向へ寄せるだけ——推論と同じGPUメモリ(8.41GB)で27Bの全パラメータを更新し、15手必要な数独でGRPOに12.50ポイント差をつけたNUSらの論文を、1から解説する。 30 ·エージェント·★ 会員·論文·15分で読めます 論文解説: Recursive Synthesis — 検証済みタスクを「増築」して、長時間ターミナル課題を4万件量産する Recursive Synthesis for Long-Horizon Terminal Tasks 1件数百〜数千ドルかかる長時間ターミナルタスクを、検証済みの種から再帰的に増築して約$0.05で量産するRST。15ラウンドで37,484件、模範解答は中央値67行から374行へ難化し、その軌跡でQwen3.5をSFT+PPOで実際に強くした——Tencentらのデータ合成論文を1から解説する。 31 ·エージェント·★ 会員·論文·11分で読めます 論文解説: Qwen-UI-Agent — スマホもPCも操る「実世界基準」のGUIエージェントはこう作られた Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents AlibabaのMAI-UIチームが公開したGUIエージェント基盤モデルのテクニカルレポートを解説。実機100台超での訓練、GUI+CLIの混成行動空間、100ターン超のオンラインRLで、実機ベンチ92.2%を叩き出した作り方を1から読み解く。 32 ·エージェント·無料·論文·16分で読めます 論文解説: Frontis-MA1 — 「AIを作るAI」を鍛える。MLエンジニアリングで再帰的自己改善に一歩迫るOpenMLE Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering 「解くモデル」ではなく「解を改善する操作」を実行結果で訓練し、その操作で進化探索を回す——OpenMLEスタックと35BモデルFrontis-MA1を論文本文から解説。MLE-Bench Liteでの39.39%→71.21%という伸びの内訳、探索効率の仕組み、そして論文自身が認める限界まで。 33 ·無料·論文·12分で読めます 論文解説: DEFT-RLVR — 自動運転VLMに未来の軌跡を「先に見せる」と推論が捏造される Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs 自動運転VLMのCoT教師データ作成で正解軌跡を先に見せると、教師は理由を後付けし幻覚が29%→50%に倍増する——この「軌跡アンカリングバイアス」を実証し、走行計画を選択問題化(AD-MCQ)して軌跡の開示を決断の後に遅延させる強化学習 DEFT-RLVR (arXiv:2608.01755) を論文本文だけを根拠に解説する。 34 ·学習手法・アライメント·★ 会員·論文·14分で読めます 論文解説: ABSeeker — 答えから逆算して「良い一手」を採点する、長距離検索エージェントの訓練法 ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment 何十手もWeb検索を重ねるエージェントの訓練では「最後に正解したか」しか報酬がなく、途中の良い一手も悪い一手も同じ扱いになる。答えから手がかりを逆算して全ステップを採点するABC（Answer-Backtracked Credit Assignment）と、それで訓練された4BモデルABSeekerを、論文本文に沿って1から解説する。 35 ·エージェント·無料·論文·11分で読めます 論文解説: EnvACE — 環境まで自分で演じる「world rehearsal」がエージェントRLの環境不足を解く EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning ツール実行環境を一切呼ばずに、LLM自身が「行動役」と「環境役」を交互に演じて強化学習する EnvACE を論文本文から解説。役割別GRPO、テスト時の脳内リハーサル、4ベンチマークでの結果と限界まで。 36 ·推論・高速化·無料·論文·14分で読めます 論文解説: AgentOPSD — 「どのターンが勝敗を分けたか」をベイズ信念の再帰更新で見つけるエージェントRL AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning 長いマルチターン対話の最後に成功/失敗しか教えてくれない環境で、「効いた一手」をどう見つけるか。自己蒸留のギャップをベイズ証拠と読み替え、log-odds空間で信念を再帰更新するAgentOPSDを論文本文から解説。ALFWorld 89.1%の結果、アブレーション、限界まで。