論文解説: JoyAI-Video-Edit — 未来のフレームを待たずに、720p・約30FPSで動画を編集し続ける自己回帰拡散

「背景を雪山に変えて」と指示すると、流れ込むライブ映像がその場で編集されて返ってくる——JDのJoyAI-Video-Editを論文本文から解説。チャンク自己回帰化・ソース錨付き蒸留(SA-DMD)・長時間ロールアウト蒸留の3段構えで、16Bモデルが720pを約30FPSで編集し続ける仕組みを追う。

JoyAI-Video-Edit: Real-Time Open-Ended Video Editing with Autoregressive Diffusion

一文でいうと

JoyAI-Video-Edit（arXiv:2608.03974、JDのJoy Future Academy）は、流れ込んでくる動画を「未来のフレームを一切見ずに」指示どおり編集し続ける16Bパラメータの自己回帰拡散モデルです。動画の長さが事前に決まっていなくてもよく（open-ended）、Nvidia B200 1枚で720p映像を約30FPSで編集します（Abstract, §5）。コードはGitHubで公開されています。

比喩: 翻訳と同時通訳

従来の動画編集AIは「翻訳者」でした。本（クリップ全体）を最後まで読んでから訳文（編集結果）を書くので品質は高いものの、読み終わるまで何も出てきません。ライブ配信の編集は「同時通訳」です。話者はまだ喋り続けていて、いつ終わるかも分からない。聞こえた端から訳し、訳し始めた口調を最後までブレさせない必要があります。論文はこの条件を、因果的な出力（未来を見ない）・低遅延・計算とメモリが動画の長さに依存しないこと・未知の長さにわたる品質の安定と整理します（§1）。

なぜ既存のやり方では駄目なのか

高品質な既存編集器の多くはオフライン設計で、クリップ全体に双方向（過去も未来も見る）の注意をかけ、反復的なノイズ除去が終わってから結果を出します。未来に依存するため因果出力ができず、メモリも入力長とともに膨らみます。「長い動画を刻んでオフライン編集器を順に当てる」近道も、重なった文脈の再計算とクリップ境界の不連続を招くとして論文は退けます（§1）。

では過去だけ見るよう因果化すれば済むかというと、それでも足りません。自己回帰モデルは学習時は「きれいなお手本の履歴」を条件にしますが、推論時は自分自身の不完全な出力を履歴として食べ続けます。この学習と推論の不一致により、色ずれや復元誤差が履歴を通じて伝播し、長期ドリフトとして蓄積します（§1）。編集タスクではさらに、各出力が「いま届いたソースとの整合」「編集対象外（人物の同一性・動き・背景）の保存」「指示の一貫した適用」を同時に満たす必要があり、リアルタイム化のための少ステップ生成がもう一つのギャップを重ねます（§1）。

部品は3つ (§3.1)

構成は、①MLLMがソース動画の最初のフレームと編集指示を読んで「何をどう変えるか」の条件トークンを作り、②因果的ビデオVAEが動画を時間8×空間24×24の圧縮率で潜在空間へ潰し（潜在1フレーム＝実映像8フレーム）、③拡散トランスフォーマーMM-DiTが条件トークンと潜在トークンから編集済み潜在を生成する、の3部品です。指示だけのV2Vと参照画像つきのIV2Vに対応します。

土台の学習（§3.2）はテキスト→画像、テキスト→動画、画像編集、双方向の動画編集という段階カリキュラムで、目標はflow matchingです（ノイズを足して引くという拡散の土台そのものは拡散モデルを1から理解するで扱っています）。

$z_0$ が編集済み動画の潜在（正解）、$\epsilon$ がガウスノイズ、$\sigma$ が0〜1のノイズ強度です。左の式で「正解とノイズを混ぜた」ものを作り、モデルは右の $v^{\star}$、つまり「混ぜ物を正解へ戻す方向」を当てる練習をします（§3.2 式(1)(2)）。

ステップ1: チャンク単位の自己回帰化 (§4.1)

まず双方向の編集器を「チャンク（塊）ごとに前から順に生成する」形に作り替えます。動画を固定サイズのチャンクに切り、チャンク内は双方向、チャンクをまたぐ方向は因果的な注意を使う。さらに過去すべてではなくスライディング窓で直近チャンクだけを参照し、例外として最初のチャンクをglobal sink（全体の錨）として常に残します。これで動画がどれだけ伸びても、1チャンクあたりの計算量とメモリは一定です（§4.1）。