#post-training

20 記事

01 ·時系列データ系·★ 会員·論文·9分で読めます 論文解説: Video Generation Models: A Survey of Post-Training and Alignment — 動画生成AIを「言うことを聞く」ようにする4つの道具箱 Video Generation Models: A Survey of Post-Training and Alignment 事前学習済みの動画生成モデルを作り直さずに「指示どおり・時間的に一貫・物理的にもっともらしく・安全」へ寄せる後学習を、教師あり微調整・自己学習と蒸留・選好と報酬・推論時の4系統で整理したサーベイを、前提知識なしで読み解きます。 02 ·推論・高速化·★ 会員·論文·10分で読めます 論文解説: Beyond Teacher Assignment — 複数の専門家を1つのモデルに蒸留するとき「誰が教えるか」だけでは足りない理由 Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation 数学・コード・指示追従の専門家モデルを1つの生徒に蒸留するMOPDでは、指示追従の教師の声が大きすぎて数学がほとんど移らない。DN-MOPDは教師ごとのフィードバックのばらつきを測って音量をそろえる、1行で足せる改良です。 03 ·推論・高速化·★ 会員·論文·12分で読めます 論文解説: Post-Training Leaves Behavioral Shadows on Unrelated Decisions — 無関係な「1単語」から能力が移る Post-Training Leaves Behavioral Shadows on Unrelated Decisions コードで追加学習したモデルに、コードと無関係な「2語のどちらか」を選ばせるだけで、その能力の一部を別のモデルへ移せる——Active Taskless Distillation(ATD)を、前提知識ゼロから式・対照実験・限界まで解説。 04 ·推論・高速化·★ 会員·論文·11分で読めます 論文解説: When EOS Tokens Disagree — オンポリシー蒸留で生徒が「止まれなくなる」原因は終了トークンの食い違いだった When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation オンポリシー蒸留(OPD)で生徒の応答が生成上限まで伸び続ける「長さの膨張」。その大きな原因が、生徒と教師で「終わり」を表す特殊トークンが食い違うことだと示した論文(arXiv:2609.20511)を、本文だけを根拠に1から解説する。 05 ·推論・高速化·★ 会員·論文·12分で読めます 論文解説: Negative Self-Distillation — 「ダメな自分」から離れて推論を学ぶ Negative Self-Distillation: Learning to Reason by Avoiding Flaws 模範解答を真似させる自己蒸留(OPSD)は、推論モデルの『迷って見直す力』を奪うことがある。NSDはモデル自身に『雑な解き手』を演じさせ、その悪い先生から離れる方向にだけ学習する。正解ラベル不要の新しい後学習を1から解説。 06 ·LLM — 大規模言語モデル·★ 会員·論文·18分で読めます 論文解説 Feyospace-v1 — 7人のチームが「環境」でサイバーAIを鍛えた話 Feyospace-v1: How the Cyber Mercury Seven Trained Frontier Cyber Models 7人の独立チームがオープンウェイトモデルをサイバー領域で鍛え上げた記録。鍵はモデル規模ではなく、リセット可能な実行環境と16万本の監査済み軌跡だった。論文の数字に沿って設計と限界を読み解く。 07 ·学習手法・アライメント·★ 会員·論文·20分で読めます 論文解説: DataFlex-RL — RLVRの「データ政策」11手法は一様サンプリングに勝てたか。12シードで測り直した結果 DataFlex-RL: An Evaluation Platform for RLVR Data Policies 「良いロールアウトだけ学習に使えば強くなる」はRLVRの常識になりつつある。DataFlex-RL (arXiv:2609.06107) は選択・再重み付け・混合適応の13構成を同じGRPOレシピ・12シードで比べ、どれも一様サンプリングとの差が95%区間でゼロをまたぐと報告した。評価ベンチマークの選び方で勝者が入れ替わる事実も含め、論文本文に沿って読み解く。 08 ·推論・高速化·★ 会員·論文·14分で読めます 論文解説: Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training — 122B・256Kトークンで下書きモデルを方針と一緒に学習させる Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training RL学習の時間を食うロールアウト生成を投機的デコーディングで速くし、下書きモデルを方針と一緒に学習し続ける。NVIDIAがコンテキスト並列とパイプライン並列の2つの壁をどう越えたかを、論文本文に沿って1から解説。 09 ·★ 会員·論文·24分で読めます 論文解説: Miles v0.1 — 「本番で回るポストトレーニング基盤」を解剖する Miles v0.1: Production-Level Post-Training 巨大MoEをエージェント的RLで後追い学習させるための全部入りシステムMilesを、論文本文から解説。生成側と学習側の「数値のズレ」をどう潰すか、744Bモデルを64GPUで回した実測はどうだったかまで。 10 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: On-Policy Reverse Distillation — 弱い教師を「目標」でなく「方向」として使う Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation 弱い教師モデルが事後学習で獲得した「方策の変化」を、生徒の最適化目標にはせず、生徒自身の方策勾配を増幅する向きとしてだけ使う手法 OPRD を、前提知識ゼロから解説する。 11 ·エージェント·★ 会員·論文·14分で読めます 論文解説: いつ経験を「再利用しない」か — 自律ポストトレーニングの条件付き経験転移(BCIT) Knowing When Not to Reuse: Conditional Experience Transfer in Autonomous LLM Post-Training 「前に効いた更新」を今の親モデルにそのまま適用してよいかを、学習を回す前に判定する。BCITは出典の強さ・現文脈への適合・名指しの矛盾から Reject / Validate / Train を選ぶ。 12 ·エージェント·★ 会員·論文·18分で読めます 論文解説: Terminal-Universe — エージェントの作業ログを、何度でも使える実行環境に戻す Terminal-Universe: Turning Agent Trajectories into Scalable Terminal Environments エージェントの作業ログ（軌跡）に残ったファイル操作をリプレイし、欠けた部分を補完エージェントに埋めさせて実行可能なワークスペースを復元する枠組み。37.3kの環境を作り、Qwen3.5-27BのSFTでTerminal-Bench 2.1を+11.9ポイント改善した。 13 ·推論・高速化·★ 会員·論文·16分で読めます 論文解説: 訓練データが1問でも、オンポリシー蒸留は数百ステップ伸び続ける Rethinking On-Policy Distillation of Large Language Models II: One Training Example 訓練クエリを1問に絞ってもオンポリシー蒸留は数百ステップ改善し続け、フルデータの伸びの大半を回収する。論文はその理由を「状態カバレッジ」と「吸収率」の2つで説明し、OPDはデータ過多・アルゴリズム不足だと結論づける。 14 ·エージェント·★ 会員·論文·20分で読めます 論文解説: Aspire — モデルは「曖昧な目標」から自己進化できるか Aspire: Can Models Self-Evolve from Vague Goals? 「もっと数学が得意になれ」だけを渡されたエージェントは、自分で学ぶ内容と検証方法を決めて本当に強くなれるのか。隠された520問で測るベンチマーク Aspire を前提知識ゼロから解説し、学習ループは回るのに能力が伸びないという結果を数字で追う。 15 ·推論・高速化·★ 会員·論文·18分で読めます 論文解説: 本番トラフィックから事後学習へ — 社内200アプリを1つの自前LLMに寄せる From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix データ所在地の制約で自前ホストせざるを得ない企業が、増え続けるモデル群を1つに畳む方法。本番の失敗を人手で分類し、弱い3軸それぞれにGRPO専門家を作り、SLERPで重みを混ぜる。3種類の報酬ハッキングの実例つき。 16 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: On-Policy Distillationは本当に蒸留しているのか — ノイズまみれの教師から自己改善へ Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement 教師モデルの採点は3〜5割が誤っているのに、生徒はなぜか同じだけ伸びる。On-Policy Distillationの改善が「教師の真似」ではなく「低確率トークンの抑制」から来ていることを突き止め、教師を捨てた手法OPSAに至った論文を、前提知識ゼロから解説する。 17 ·無料·論文·15分で読めます 論文解説: Annotations as Rollouts — 正解データを「9本目の答案」として強化学習に混ぜる Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs 動画MLLMの強化学習では、モデルが引いた答案の中に正解がほとんど現れず学習信号が痩せる。OraRLは注釈データ自体を答案の1本として束に加え、そのとき壊れる『advantageの反転』を分解して直した手法。 18 ·LLM — 大規模言語モデル·★ 会員·論文·16分で読めます 論文解説: SA-MRPO — 満点の科目を勉強し続けるな。飽和した報酬から勾配を引きはがす Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization 報酬を複数使うRL学習では、すでに満点に近い目的にも勾配予算が配られ続ける。SA-MRPO (arXiv:2608.16072) は目的ごとの「飽和率」を測って重みを割り引き、伸びしろの残る目的へ最適化の力を回す。論文本文だけを根拠に、仕組みと限界を解説する。 19 ·推論・高速化·無料·論文·18分で読めます 論文解説: 正解も強い教師もなしで伸びる — u-OPSD が使う「自分の多数決」 On-Policy Self-Distillation without Any Supervision 模範解答も強い教師モデルも使わず、モデル自身が出した8本の答案の多数決を『特権的な文脈』に仕立てて自己蒸留する u-OPSD（arXiv:2608.06296）を、論文本文だけを根拠に1から解説する。 20 ·推論・高速化·無料·論文·11分で読めます 論文解説: DAPD — 蒸留の教師が持つ「カンニングペーパーの幻想」を二重アンカーで断つ DAPD: Dual-Anchored Policy Distillation 模範解答を見た教師から蒸留すると、生徒は本番で「見えない答えを思い出したふり」をする——この privilege illusion の根本原因を情報の非対称性と特定し、二重のアンカーで解消する DAPD (arXiv:2608.01735) を論文本文だけを根拠に解説する。