学生版 社会人版
JA EN

#post-training

10 記事

01 ·エージェント·★ 会員·論文·17分で読めます 論文解説: Terminal-Universe — エージェントの作業ログを、何度でも使える実行環境に戻す Terminal-Universe: Turning Agent Trajectories into Scalable Terminal Environments エージェントの作業ログ（軌跡）に残ったファイル操作をリプレイし、欠けた部分を補完エージェントに埋めさせて実行可能なワークスペースを復元する枠組み。37.3kの環境を作り、Qwen3.5-27BのSFTでTerminal-Bench 2.1を+11.9ポイント改善した。 02 ·推論・高速化·★ 会員·論文·16分で読めます 論文解説: 訓練データが1問でも、オンポリシー蒸留は数百ステップ伸び続ける Rethinking On-Policy Distillation of Large Language Models II: One Training Example 訓練クエリを1問に絞ってもオンポリシー蒸留は数百ステップ改善し続け、フルデータの伸びの大半を回収する。論文はその理由を「状態カバレッジ」と「吸収率」の2つで説明し、OPDはデータ過多・アルゴリズム不足だと結論づける。 03 ·エージェント·★ 会員·論文·20分で読めます 論文解説: Aspire — モデルは「曖昧な目標」から自己進化できるか Aspire: Can Models Self-Evolve from Vague Goals? 「もっと数学が得意になれ」だけを渡されたエージェントは、自分で学ぶ内容と検証方法を決めて本当に強くなれるのか。隠された520問で測るベンチマーク Aspire を前提知識ゼロから解説し、学習ループは回るのに能力が伸びないという結果を数字で追う。 04 ·推論・高速化·★ 会員·論文·18分で読めます 論文解説: 本番トラフィックから事後学習へ — 社内200アプリを1つの自前LLMに寄せる From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix データ所在地の制約で自前ホストせざるを得ない企業が、増え続けるモデル群を1つに畳む方法。本番の失敗を人手で分類し、弱い3軸それぞれにGRPO専門家を作り、SLERPで重みを混ぜる。3種類の報酬ハッキングの実例つき。 05 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: On-Policy Distillationは本当に蒸留しているのか — ノイズまみれの教師から自己改善へ Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement 教師モデルの採点は3〜5割が誤っているのに、生徒はなぜか同じだけ伸びる。On-Policy Distillationの改善が「教師の真似」ではなく「低確率トークンの抑制」から来ていることを突き止め、教師を捨てた手法OPSAに至った論文を、前提知識ゼロから解説する。 06 ·★ 会員·論文·12分で読めます 論文解説: On-Policy Self-Distillation in Diffusion Models — 報酬を「途中の的」に翻訳する On-Policy Self-Distillation in Diffusion Models 画像生成モデルを報酬で鍛えるとき、完成画像への点数は「途中のデノイズをどう直すか」を教えてくれない。DiffusionOPSD は報酬の勾配から中間予測の具体的な的を作り、自分自身のEMA版を教師にして当てはめる。要旨に書かれた範囲で、その仕組みと限界を1から解説する。 07 ·★ 会員·論文·15分で読めます 論文解説: Annotations as Rollouts — 正解データを「9本目の答案」として強化学習に混ぜる Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs 動画MLLMの強化学習では、モデルが引いた答案の中に正解がほとんど現れず学習信号が痩せる。OraRLは注釈データ自体を答案の1本として束に加え、そのとき壊れる『advantageの反転』を分解して直した手法。 08 ·LLM — 大規模言語モデル·★ 会員·論文·16分で読めます 論文解説: SA-MRPO — 満点の科目を勉強し続けるな。飽和した報酬から勾配を引きはがす Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization 報酬を複数使うRL学習では、すでに満点に近い目的にも勾配予算が配られ続ける。SA-MRPO (arXiv:2608.16072) は目的ごとの「飽和率」を測って重みを割り引き、伸びしろの残る目的へ最適化の力を回す。論文本文だけを根拠に、仕組みと限界を解説する。 09 ·推論・高速化·★ 会員·論文·18分で読めます 論文解説: 正解も強い教師もなしで伸びる — u-OPSD が使う「自分の多数決」 On-Policy Self-Distillation without Any Supervision 模範解答も強い教師モデルも使わず、モデル自身が出した8本の答案の多数決を『特権的な文脈』に仕立てて自己蒸留する u-OPSD（arXiv:2608.06296）を、論文本文だけを根拠に1から解説する。 10 ·推論・高速化·★ 会員·論文·11分で読めます 論文解説: DAPD — 蒸留の教師が持つ「カンニングペーパーの幻想」を二重アンカーで断つ DAPD: Dual-Anchored Policy Distillation 模範解答を見た教師から蒸留すると、生徒は本番で「見えない答えを思い出したふり」をする——この privilege illusion の根本原因を情報の非対称性と特定し、二重のアンカーで解消する DAPD (arXiv:2608.01735) を論文本文だけを根拠に解説する。