論文解説: JoyAI-Video-Edit — 未来のフレームを待たずに、720p・約30FPSで動画を編集し続ける自己回帰拡散

「背景を雪山に変えて」と指示すると、流れ込むライブ映像がその場で編集されて返ってくる——JDのJoyAI-Video-Editを論文本文から解説。チャンク自己回帰化・ソース錨付き蒸留(SA-DMD)・長時間ロールアウト蒸留の3段構えで、16Bモデルが720pを約30FPSで編集し続ける仕組みを追う。

JoyAI-Video-Edit: Real-Time Open-Ended Video Editing with Autoregressive Diffusion

一文でいうと

JoyAI-Video-Edit（arXiv:2608.03974、JDのJoy Future Academy）は、流れ込んでくる動画を「未来のフレームを一切見ずに」指示どおり編集し続ける16Bパラメータの自己回帰拡散モデルです。動画の長さが事前に決まっていなくてもよく（open-ended）、Nvidia B200 1枚で720p映像を約30FPSで編集します（Abstract, §5）。コードはGitHubで公開されています。

比喩: 翻訳と同時通訳

従来の動画編集AIは「翻訳者」でした。本（クリップ全体）を最後まで読んでから訳文（編集結果）を書くので品質は高いものの、読み終わるまで何も出てきません。ライブ配信の編集は「同時通訳」です。話者はまだ喋り続けていて、いつ終わるかも分からない。聞こえた端から訳し、訳し始めた口調を最後までブレさせない必要があります。論文はこの条件を、因果的な出力（未来を見ない）・低遅延・計算とメモリが動画の長さに依存しないこと・未知の長さにわたる品質の安定と整理します（§1）。

なぜ既存のやり方では駄目なのか

高品質な既存編集器の多くはオフライン設計で、クリップ全体に双方向（過去も未来も見る）の注意をかけ、反復的なノイズ除去が終わってから結果を出します。未来に依存するため因果出力ができず、メモリも入力長とともに膨らみます。「長い動画を刻んでオフライン編集器を順に当てる」近道も、重なった文脈の再計算とクリップ境界の不連続を招くとして論文は退けます（§1）。

では過去だけ見るよう因果化すれば済むかというと、それでも足りません。自己回帰モデルは学習時は「きれいなお手本の履歴」を条件にしますが、推論時は自分自身の不完全な出力を履歴として食べ続けます。この学習と推論の不一致により、色ずれや復元誤差が履歴を通じて伝播し、長期ドリフトとして蓄積します（§1）。編集タスクではさらに、各出力が「いま届いたソースとの整合」「編集対象外（人物の同一性・動き・背景）の保存」「指示の一貫した適用」を同時に満たす必要があり、リアルタイム化のための少ステップ生成がもう一つのギャップを重ねます（§1）。

部品は3つ (§3.1)

構成は、①MLLMがソース動画の最初のフレームと編集指示を読んで「何をどう変えるか」の条件トークンを作り、②因果的ビデオVAEが動画を時間8×空間24×24の圧縮率で潜在空間へ潰し（潜在1フレーム＝実映像8フレーム）、③拡散トランスフォーマーMM-DiTが条件トークンと潜在トークンから編集済み潜在を生成する、の3部品です。指示だけのV2Vと参照画像つきのIV2Vに対応します。

土台の学習（§3.2）はテキスト→画像、テキスト→動画、画像編集、双方向の動画編集という段階カリキュラムで、目標はflow matchingです（ノイズを足して引くという拡散の土台そのものは拡散モデルを1から理解するで扱っています）。

$z_0$ が編集済み動画の潜在（正解）、$\epsilon$ がガウスノイズ、$\sigma$ が0〜1のノイズ強度です。左の式で「正解とノイズを混ぜた」ものを作り、モデルは右の $v^{\star}$、つまり「混ぜ物を正解へ戻す方向」を当てる練習をします（§3.2 式(1)(2)）。

ステップ1: チャンク単位の自己回帰化 (§4.1)

まず双方向の編集器を「チャンク（塊）ごとに前から順に生成する」形に作り替えます。動画を固定サイズのチャンクに切り、チャンク内は双方向、チャンクをまたぐ方向は因果的な注意を使う。さらに過去すべてではなくスライディング窓で直近チャンクだけを参照し、例外として最初のチャンクをglobal sink（全体の錨）として常に残します。これで動画がどれだけ伸びても、1チャンクあたりの計算量とメモリは一定です（§4.1）。

学習はまず「きれいな履歴」を条件にするteacher forcingで安定させたあと、Resampling Forcingに切り替えます。履歴チャンクをモデル自身の1ステップ再生成（勾配は流さない）に差し替えて学習することで、本番で実際に食べる「自分の不完全な履歴」に近い分布で訓練でき、学習と推論のギャップが縮まります（§4.1）。

ステップ2: ソースを錨にした蒸留 — SA-DMD (§4.2)

拡散の反復的なノイズ除去は遅いので、Distribution Matching Distillation（DMD）で2ステップの生成器へ蒸留します。登場人物は、学習される因果的生成器・学習されるfakeスコア・凍結されたrealスコア（教師）の3体で、共有バックボーン＋LoRA構成で前段階の重みから初期化されます。

ただし素のDMDでは、長いロールアウトで生成器が自分の不完全な履歴に依存するほど誤差が複利式に積もり、ソースドリフト（元映像からの逸脱）や幻覚に化けます。そこで教師側に細工をします。realスコアに対し、テキスト条件の軸とソース忠実性の軸を独立にclassifier-free guidance（CFG）をかけるのです。

$v_{\phi}^{\mathrm{cond}}$ は全条件つきの予測、$v_{\phi}^{-\mathrm{txt}}$ は指示文を伏せた予測、$v_{\phi}^{-\mathrm{src}}$ は時間的に対応するソースチャンクを伏せた予測です。「条件あり−条件なし」の差分はその条件が予測を引っ張る方向なので、$w_{\mathrm{txt}}$ で指示への従順さを、$w_{\mathrm{src}}$ で元映像への引き戻しを独立に強められます。$w_{\mathrm{src}}$ が履歴ドリフトに対抗する錨の強さを決めるハイパーパラメータです（§4.2 式(3)）。

設計の妙は、この誘導を蒸留のターゲット側だけに適用する点です。ソースへ引き戻す力は蒸留を通じて生成器の重みに吸収されるため、デプロイ時は条件付きの1パスだけで済み、推論時にCFGの追加計算が要りません（§4.2）。

ステップ3: 長時間ロールアウトを直接鍛える — LHAD (§4.3)

短いロールアウトの学習では「何十チャンクも自分の履歴を食べ続けた後」の複合誤差を経験できず、かといって長いロールアウトの計算グラフを丸ごと持てばメモリが溢れます。Long-Horizon Autoregressive Distillation（LHAD）は、長いロールアウトを短いクリップに区切り、クリップごとにSA-DMDの逆伝播→グラフ解放を繰り返して勾配を蓄積し、1回の更新にまとめます。メモリ有界のまま長い地平線の勾配を反映できる仕掛けです。ソース動画が足りない場合は順再生と逆再生を交互につなぐmirror loopingで条件を延長し、単純な繰り返し再生で起きる急な意味の飛びを避けます（§4.3）。

30FPSの内訳 (§5)

デプロイ時は映像を8フレームずつのチャンクに切り、FP8量子化・演算子融合・計算グラフのコンパイルを適用します（低精度で速度を買う考え方はLLM量子化を1から解説と同じです）。B200 1枚での1チャンク実測は、VAEエンコード22ms＋DiTノイズ除去185ms＋VAEデコード19msで応答遅延226ms。クリーンなKVキャッシュ構築31msと擬似エンコード9msを足した1サイクル266msが、8フレーム÷0.266秒＝30.1FPSに相当します（§5）。

for chunk in video_stream:              # 8フレームずつ届く
    z_src = vae.encode(chunk)           # 22 ms
    z_out = dit.denoise(noise, cond=c,  # 185 ms、2ステップのみ
                        src=z_src, history=kv_cache)
    emit(vae.decode(z_out))             # 19 ms、未来を待たず即出力
    kv_cache.update(z_out)              # 窓+先頭sinkだけ保持

どのくらい効くのか (§7)

短い動画（OpenVE-Bench、Geminiによる5段階自動採点）では総合3.60。ストリーミング編集器のSANA-Streaming（2.62）・LiveEdit（2.00）・Xmax-X2.0（1.87）・StreamDiffusionV2（1.23）を大きく上回り、5カテゴリ中4つでストリーミング首位。局所削除4.06はオフライン勢も含む全手法中で最高で、総合でもオフライン強豪のBernini-R（3.72）やKling-3.0 Omni（3.64）に肉薄します（§7.2）。

長い動画では、既存ベンチが10秒未満中心で誤差蓄積を測れないため、著者らが1分動画229課題のLongV2VBenchを自作。総合3.30で全5カテゴリ首位（次点XMax-X2.0に+1.59）、スループットも30.19FPSで最速でした（§7.2）。

人手評価（10秒未満のペア比較）では、ストリーミング勢4手法に81〜90%の得票で圧勝。Bernini-Rとは48%対44%の接戦、一方Kling-3.0 OmniとSeedance 2.0との比較では相手側が各56%を取り、商用最上位には届いていません（§7.3）。

部品の効き目（§7.5）: SA-DMD単体でglobal style 3.61→4.24、local change 3.43→4.00と最大の単独効果。LHADは背景変更と局所削除を補完し、両方有効の3.30が最良でした。「ソースの錨」と「長地平の訓練」は別々の症状に効く相補的な薬だということです。

限界と読み方の注意

①LongV2VBenchは著者ら自身が構築したベンチマークです（§7.2）。②自動評価はGeminiをジャッジにした採点で、スコアの絶対値は判定モデルに依存します（§7.2）。③人手評価は10秒未満の短尺のみで、長尺での人手比較はありません（§7.3）。④速度はすべてNvidia B200 1枚での測定で、他GPUの数値は論文にありません（§5, §7.4）。⑤SANA-Streamingとの速度比較は公開実装ベースで、原論文の報告より遅いと著者ら自身が明記しています（§7.4）。

現場ではこう使う

論文自身が挙げる出口は、生放送・ビデオ通話・リアルタイムのデジタルヒューマン・ゲームコンテンツ・テレプレゼンスです（§7.6）。ライブ配信基盤や映像エフェクトを作るMLエンジニアが「オフラインの編集モデルをどうリアルタイム化するか」を考える際の設計カタログとして読めます。実務で触るノブは、①CFGのguidance weight（本論文の $w_{\mathrm{txt}}$・$w_{\mathrm{src}}$ に相当。指示追従とソース保存のトレードオフ）、②チャンク長とKVキャッシュの窓幅・sink（遅延と一貫性のトレードオフ）、③FP8などの量子化とグラフコンパイル、あたりです。

落とし穴を3つ。第一に、蒸留済みの少ステップモデルはCFGが重みに焼き込まれているため、推論時にguidance scaleを振っても効きません——SA-DMDはまさに「誘導を焼き込む」設計で、挙動を変えたければ再蒸留が要ります。第二に、オフライン編集器をクリップ分割で回す近道は、境界の不連続と重複計算という論文が最初に退けた罠そのものです（§1）。第三に、ストリーミング生成のドリフトはじわじわ来るので、短尺デモの見た目だけで品質を判断しないこと——著者らが1分ベンチを自作したのは、10秒では見えない劣化があるからです。面接で「学習と推論の不一致への対処」を問われたら、teacher forcing→resampling forcing→長地平の蒸留という本論文の3段階が答えの骨格になります。

次に読む

• 拡散モデルを1から理解する — ノイズ除去とflow matchingの基礎
• KVキャッシュを1から理解する — 「窓+sink」で状態を有界に保つ発想の土台
• LLM量子化を1から解説 — FP8で速度を買う仕組み