論文解説: WanPE — 動画生成のプロンプトを「監督の撮影計画」に変える

短い依頼文を、ショットごとのカメラ・照明・音まで決めた撮影計画に書き直すモデルWanPE。実動画から逆向きに教師データを作る発想と、要求の取りこぼしを罰する強化学習SC-GRPOを前提知識ゼロから解説します。

WanPE: Towards Cinematic Prompt Enhancement for Modern Text-to-Video Generation

この論文は何をしたのか

今回読むのは "WanPE: Towards Cinematic Prompt Enhancement for Modern Text-to-Video Generation"（arXiv:2609.30221）です。Alibaba の Wan Team らによる、動画生成AIの手前に置く「プロンプト強化器」の研究です。

アブストラクトの要旨: 動画生成は、まずテキストで映画的な脚本を書き、それを画素にする作業である。生成器が30秒まで伸びて複雑な条件に従えるようになり、プロンプトが複数ショットにわたる演技・カメラ・照明・音の展開を計画する立場になった。著者らは実動画105万本で学習した397Bパラメータの強化モデル WanPE を提案する。「動画に基づく逆構築」でショット単位の撮影計画を学び、SC-GRPO で要求をショットと時間をまたいで守る。5〜30秒の人手注釈テストベッド WanPEval（約1.1万件のブラインド対比較）で評価すると、Wan3.0 の生成器との組み合わせで、生の依頼文に対する人間の選好が5〜15秒で10.66〜18.84ポイント、30秒で50.86ポイント上がった。逆構築は前向きの書き換えに勝り、5〜15秒では評価した全商用システムを上回り、30秒でも Seedance 2.5 と互角だった。

比喩: 一言の注文と撮影台本

プロデューサーが「雨の夜、路地で青年が悪霊と戦う10秒」とだけ注文しても、監督はそのまま撮れません。何カットか、引きか寄りか、手持ちか固定か、雨音と怒号のどちらを立てるか。それを決めた紙が撮影台本です。

動画生成AIでも、短い依頼文 $x$ を生成器が読む詳しい指示 $y$ に直す係がいます。論文によれば、以前の生成器（例: Wan2.2）は文脈が短く指示追従も弱かったため、強化器は描写を足す「化粧」程度でした（§1）。30秒・複数ショットを扱える今、強化器は台本を書く監督に格上げされた、というのが出発点です。

直感: なぜ「逆向き」なのか

強化器の学習には「依頼文→良い台本」のペアが大量に要ります。素直なのは、依頼文をLLMに渡して「カメラや照明も足して」と膨らませる方法で、論文はこれを前向きの書き換えと呼びます。

しかし、そうして作った台本は「LLMが想像した台本」の癖を持ちます。生成器のほうは実動画に付けたキャプションで学習されているので、学習時と本番で渡される文の分布がずれます（§1）。一方、プロが撮った格闘シーンには、演技・撮影・編集・照明・音の協調がすでに実現した形で入っています。

そこで WanPE は向きを逆にします。先に実動画から台本を書き起こし、それに合う素朴な依頼文を後から作る（§2.2）。答えを先に確保し、問題を後から作るわけです。

仕組み1: 目標を式にする

全体は三段リレーです（§2.1）。

言い換えると、ユーザーが依頼文 $x$ を書き、強化器 $\pi_\theta$ が台本 $y$ に直し、生成器 $G_\phi$ が動画 $\hat v$ を作ります。理想の台本の分布は次のとおりです。

$p_{\mathrm{vg}}$ は「実動画のキャプションらしさ」、$\mathbb{I}[\cdot]$ は条件を満たせば1の関数、$\mathcal{Y}_{\mathrm{sem}}(x)$ は要求を落とさず・変えず・矛盾させない台本の集合、$Z(x)$ は合計を1にする割り算です。要するに「本物らしい文のうち、依頼を全部守るものだけを残す」のが理想で、学習はこれと強化器のKLダイバージェンス（KLダイバージェンスを1から理解する）を小さくする問題です。「本物らしさ」を逆構築SFTが、「全部守る」を SC-GRPO が担当します。