#dpo

2 記事

01 ·時系列データ系·★ 会員·論文·9分で読めます 論文解説: Video Generation Models: A Survey of Post-Training and Alignment — 動画生成AIを「言うことを聞く」ようにする4つの道具箱 Video Generation Models: A Survey of Post-Training and Alignment 事前学習済みの動画生成モデルを作り直さずに「指示どおり・時間的に一貫・物理的にもっともらしく・安全」へ寄せる後学習を、教師あり微調整・自己学習と蒸留・選好と報酬・推論時の4系統で整理したサーベイを、前提知識なしで読み解きます。 02 ·学習手法・アライメント·★ 会員·論文·18分で読めます DPOとその後 — RLHFを単純化する系譜 Direct Preference Optimization: Your Language Model is Secretly a Reward Model 報酬モデルを別に建てずに選好から直接学ぶDPOの導出を、KL制約付き最大化の閉形式解から一段ずつ追う。さらにDPOの過学習を数式で説明したIPO、ペアを要求しないKTO、価値モデルを捨ててオンラインへ戻ったGRPOまでを「何を消したか」で整理し、手元のデータの形から選ぶ基準をまとめる。