論文解説: DreamX-Creator — 音と映像を「同時に」作る7Bモデルと、2Kへの1ステップ仕上げ

音声と映像を1つの生成過程で同時に denoise する7Bモデルの論文を、前提知識ゼロから解説。ゲート付き交差注意・モダリティ別の強化学習・1ステップ2K仕上げの3点と、著者自身が置いている重い留保まで読む。

DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution

音が「後付け」だと、何が失われるのか

動画生成の進歩は、ほとんどが「絵」の話でした。音はそもそも出力されないか、映像を作り終えたあとに別のモデルで貼り付けられます。

なぜそれが問題なのか。ボールが床にぶつかる場面を思い浮かべてください。接触した瞬間に音が鳴るからこそ「ぶつかった」と感じられます。ところが「映像を作る → その映像から音を作る」という段取りにすると、映像は音のことを一切知らないまま確定する。音は映像に合わせられますが、映像が音に合わせることはできない。関係が一方通行になるわけです。この論文は、音と映像を同じ生成過程に入れることで、その一方通行を双方向に戻します。

原題と、要旨のまとめ

原題は "DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution"（arXiv:2608.31106、2026年8月31日）。本文中ではシステムを DreamX-Creator 1.0 と呼びます。

要旨はこうです。近年の動画生成器は音を省くか別段階で合成しており、映像の動きと音響イベントを互いにモデル化できていない。そこで著者らは、7Bの生成器を中心とする小型の「ネイティブな」音声・映像同時生成システムを提示する。最初の1フレームとテキストプロンプトを条件に、モダリティごとに専用化した音声・映像ストリームを同時に denoise する。2本のストリームは前半では独立に処理され、後半で Gated Cross-Modal Attention（ゲート付き交差モーダル注意） で結合される。ゲートはトークンごと・注意ヘッドごとに交差注意ヘッドの出力を変調する。学習は、統合データシステムが用意した能力別プールの上で、2段階の事前学習と高品質ファインチューニングを行い、さらに Modality-Aware Multimodal Feedback（映像・音声・跨モーダルのフィードバックを対応するストリームへ振り分ける仕組み）による強化学習で後段学習する。高解像度化には、双方向・多ステップの教師を自己回帰の精細化器に作り替え、時間チャンクあたり1回の denoise で済む生徒へ蒸留する。7Bの生成器と2K Refiner を公開し、ネイティブな音声・映像生成を民主化することを目指す。

「民主化」の語は比較表(§1, Table 1)と対応します。ダウンロード可能な重み・ネイティブな同時生成・2K以上の公式な出力経路の3つを同時に満たす中で、総バックボーン規模が公表されているものとしては本モデルが最小、という位置づけです（2026年8月27日時点の公開情報に基づくと注記）。同表の比較対象は LTX-2.3(22B)、MiniMax H3(33B)、MAGI-2 Preview(114B) など。なお同じ注記が「"Open" はダウンロード可能を意味するだけで、OSI承認ライセンスを意味しない」と明記しています。ここは後で効いてきます。

比喩と直感: 隣のブースを、窓越しに覗く

録音スタジオの2つのブースで考えると掴めます。片方では映像担当が、もう片方では音響担当が、それぞれ別の道具（トークンの刻み方、位置エンコーディング、バックボーン）で作業している。前半戦は完全に別々で、共通なのはテキストの指示書だけ。後半戦になるとブースの間に窓が開き、映像担当は音響担当の手元を覗けるし（A2V: audio-to-video）、逆もできます（V2A: video-to-audio）。肝は、窓を開けるかがサンプルごとに切り替わることと、入ってきた情報をどれだけ取り込むかがトークン単位で決まること。論文はこれを方向マスクとゲートという別々の仕掛けで実現します(§3.2)。

窓越しに覗く、を計算にすると交差注意です。自分側が質問(Query)を出し、相手側が名札(Key)と中身(Value)を掲げ、質問と名札の内積が大きいペアほど中身を強く受け取る。自己注意との違いは質問と名札が別のモダリティから来ることだけで、仕組みはAttention機構を1から理解すると同じです。ただし音と映像では1秒あたりのトークン数が違い、そのままでは「映像の3番目」と「音の3番目」が同じ時刻を指しません。論文は両者の位置を共有の時間座標に写し、交差注意のQueryとKeyに時間方向のRoPEを掛けます(§3.1)。どちらの潜在系列もリサンプルせず、時刻の対応だけを持ち込むやり方です。

仕組み1: どちらを条件にするかは「ノイズの多さ」で決まる

学習時、各サンプルには A2V / V2A / Joint のいずれかのモードが割り当てられます。面白いのは、モードが2本のストリームのノイズ量の大小関係として表現されている点です(§3.1)。$\sigma$ をノイズの強さとすると、

言い換えると、条件にする側をきれいなまま残し、生成する側をより強く汚す。A2V なら映像側を汚して音側を比較的きれいに保つので、モデルは「まともな音を手がかりに、ぐちゃぐちゃの映像を直す」練習をします。V2A はその逆、Joint は両方同じだけ汚します。条件側には stop-gradient が掛かるので、生成側の損失が交差注意を通って条件側のバックボーンを書き換えることはありません。

そして論文が繰り返し釘を刺すのがここ。A2V と V2A は推論時のタスクではなく、学習時の内部的な条件付け経路にすぎません(§3.1, §3.3)。推論のインターフェースは終始「1フレーム + プロンプト」の1本です。

学習目標は両ストリームとも flow matching(§3.4)。クリーンな潜在 $z_0$ とノイズ $\epsilon$ を混ぜた中間地点から、クリーンな側へ向かう速度場 $u^*=\epsilon-z_0$ を当てにいきます（基礎はFlow Matchingを1から理解する）。損失は2つの和 $\lambda_v\mathcal{L}^v+\lambda_a\mathcal{L}^a$ で、事前学習は $\lambda_v=\lambda_a=0.5$、高品質ファインチューニングでは $\lambda_v=0.5,\ \lambda_a=0.1$ と音側の重みを下げています。