2026-09-04·★ 会員·論文·20分で読めます

論文解説: SolarWM — 5秒で学習して1時間歩き回れる動画ワールドモデルを、データごと全部開ける

10個のデータセットを143万クリップの統一契約に揃える「データエンジン」と、4種類の動画生成バックボーンをそのまま活かす3段階の学習レシピ。5秒の系列だけで学習した因果モデルが、分〜時間スケールのロールアウトを続ける。

#world-model #video-generation #diffusion #distillation #dataset #camera-control

SolarWM: Open Data and Scalable Training for Long-Horizon Video World Models

一次資料 — この記事の根拠

論文の発表 2026-09-02→この解説の公開 2026-09-04同月

SolarWM: Open Data and Scalable Training for Long-Horizon Video World ModelsJunchao Huang, Guian Fang, Shengju Qian ほか · 2026-09-02 · v1arXiv:2609.02886論文ページ·PDF

原文の要旨（Abstract）を読む

We introduce SolarWM, a fully open foundation for building interactive video world models from data preparation through long-horizon inference. Training across heterogeneous data sources and video backbones is challenging: datasets differ in temporal scale, camera geometry, visual quality, motion, and captioning styles, while video generators use distinct representations and architectures. Naive data mixing and model-specific implementations therefore produce inconsistent supervision and make results difficult to reproduce and compare. SolarWM addresses this coupling with a reconfigurable multi-source data engine and a backbone-native adaptation framework. The engine converts 1.43 million canonical clips from 10 datasets into a unified, frame-aligned contract covering visual observations, metric camera geometry, captions, quality metadata, selection decisions, and provenance, while decoupling source processing from mixture construction. Under shared camera-conditioning, training, and inference interfaces, we instantiate four 5B--33B models based on Wan2.2, LTX-2.5, and MiniMax-H3 while preserving their native representations and objectives. A unified three-stage recipe combines bidirectional adaptation, teacher-forced autoregressive initialization, and distribution matching distillation. The resulting causal models enable real-time interaction over rollouts ranging from minutes to hours after being trained on only 5s sequences. By releasing the resulting data, pipeline, recipes, weights, and framework, SolarWM provides a reproducible and extensible foundation for interactive world-model research.

「見る動画」から「入れる世界」へ

今回読むのは SolarWM: Open Data and Scalable Training for Long-Horizon Video World Models（arXiv:2609.02886, 2026年9月2日）です。

論文の主張を要約すると、こうなります。インタラクティブな動画ワールドモデルを作るには、データ準備から長時間の推論までが一続きの基盤が要る。ところが学習は難しい。データセットごとに時間スケール・カメラの幾何・画質・動き・キャプションの書き方が違い、動画生成器ごとに内部表現もアーキテクチャも違う。素朴に混ぜると監督信号が食い違い、実装がモデル固有になると再現も比較もできない。SolarWM はこの絡まりを、再構成可能なマルチソース・データエンジンとバックボーン固有の表現を壊さない適応フレームワークの2本で解きます。エンジンは10個のデータセットから143万本の正規化クリップを、映像・メートル単位のカメラ幾何・キャプション・品質メタデータ・採否判断・来歴までフレーム整列した1つの契約に変換し、ソースごとの前処理と学習用の配合作りを切り離します。その上で Wan2.2・LTX-2.5・MiniMax-H3 を土台に 5B〜33B の4モデルを、共通のカメラ条件づけ・学習・推論インターフェースの下で作ります。学習は「双方向適応 → 教師強制による自己回帰初期化 → 分布マッチング蒸留」の3段。結果として得られた因果モデルは、5秒の系列だけで学習したのに分〜時間スケールのロールアウトをリアルタイムに回せる、というものです。

比喩: 撮影所の規格と、俳優の芝居

この論文には、性格の違う2つの仕事が同居しています。

ひとつは撮影所の規格作りです。10箇所から集めたフィルムは、尺もカメラの記録形式も明るさもバラバラです。これを「どのフィルムも同じ棚に同じ形で入っている」状態に揃える。ただし揃えるときに、気に入らないフィルムを捨ててしまわない。捨てずに「不採用」の棚に、不採用の理由をつけて残しておく。後で基準を変えたくなったら、棚から出し直せばいい。

もうひとつは俳優の芝居を壊さない演出です。Wan2.2 も LTX-2.5 も MiniMax-H3 も、すでに膨大な動画で訓練された演技力を持っています。ここに「カメラの動きに従え」という新しい指示を足したい。このとき、全員に同じ発声法を強制すると、それぞれが持っていた持ち味が消えます。SolarWM は指示の出し方（データとカメラの契約）だけを共通化し、演技そのもの（潜在表現・注意の構造・最適化目標）は各自のやり方に任せます。

何が難しいのか — 2つの「不揃い」

論文は、難しさがデータ側とモデル側で結合していると述べます（§1）。

データ側では、既存データセットが時間スケール・画質・動きの分布・キャプションの文体・カメラの座標規約で食い違います。単純に足し合わせると監督信号が矛盾し、単体ソースでは良かったモデルがマルチソース学習で劣化する。モデル側では、動画生成器が潜在表現・注意構造・条件づけの機構で大きく違います。共通の適応戦略はスケールの面で望ましいが、この異質性を無視すると事前学習で得た能力を壊してしまう。逆にバックボーン固有の適応にすると、体系的な比較も拡張もできなくなる。

だからこの分野には、マルチソースのデータ構築とバックボーン適応を同時に面倒みる、再現可能な共通基盤がまだ無い——というのが論文の出発点です。

この論文を3層に分けて読む

SolarWM は3つの層でできています。分けて読んだほうが早く頭に入ります。

第1層はデータエンジン（§5）。10個のデータセットを、映像・カメラ幾何・キャプション・品質指標・採否の理由・来歴までフレーム単位で揃った1つの形式へ変換する仕組みです。論文の分量の中心はここで、読み物というより運用マニュアルに近い書き方をしています。

第2層はモデル家族（§6）。Wan2.2 の 5B と 14B、LTX-2.5 の 22B、MiniMax-H3 の 33B。この4つを共通のカメラ条件づけインターフェースの下に並べます。ただし潜在表現も注意の並びも最適化目標も各バックボーンのまま残す。論文はこれを「4つの独立した公開物ではなく、1つの契約の下にある4つのルート」と表現します。

第3層は学習レシピ（§4）。双方向で作り、因果に切り替え、蒸留で仕上げる3段です。

この3層が互いに独立しているのが要点です。データの配合を変えてもモデル実装には触らずに済み、バックボーンを足してもデータ処理はやり直さずに済む。論文が「エンジン」という言葉を使うのは、固定された学習クリップの一覧ではなく、別の配合をいつでも組み直せる装置を出したいからです。

なぜ「5秒で学習」なのか

ここは論文の主張ではなく背景知識ですが、押さえておくと以降が読みやすくなります。自己注意はトークン同士を総当たりで見るので、系列長が伸びると計算量とメモリが二次で膨らみます。1時間ぶんの動画を丸ごと双方向注意で学習する、というのは端から選択肢に入りません。だから「短い窓で学習し、推論時は因果的に前へ継ぎ足す」形にせざるを得ない。SolarWM が5秒で学習して分〜時間を出す、というのは、この制約への回答です。

FIG 1nを系列長だと思って見てほしい。O(n²)の曲線が示すとおり、長時間動画をそのまま学習に載せる道は最初から塞がっている

学習は3段構え — まず全体像

式に入る前に、3段が何をしているかだけ押さえます（§4）。

第1段は双方向適応。事前学習済みの動画生成器を、カメラ条件つきのワールドデータに慣らします。ここでは学習窓の全体を前後どちらも見られる、つまり普通の動画生成モデルとしての学習です。カメラ制御が入るのもこの段です。

第2段は教師強制つきの自己回帰初期化。注意を因果的に切り替え、未来を隠して「正解の過去」だけを見せながら、少ないステップで動く自己回帰モデルへ変えます。論文がこの段を速いと言うのは、見た目や動きを学び直しているのではなく、すでに出来上がった双方向モデルに因果予測を点火しているだけだからです。

第3段は分布マッチング蒸留（DMD）。教師強制のままだと、学習時はきれいな過去を見ているのに推論時は自分の出力を過去として食べる、というずれが残ります。ここを、実際に自分でロールアウトさせて分布を合わせにいくことで埋めます。

順番の意味も論文ははっきり述べています。最適化の重心は第1段にあり、第2段は速く収束し、第3段はさらに少ないステップで足りる。ここから先は、この3段を式で追い、その土台になっているデータエンジンを開けていきます。

3段階を式で追う

第1段: 双方向適応（§4.1）。きれいな動画潜在を $\mathbf{z}_{0}$ 、テキスト・画像・カメラの条件をまとめて $\mathbf{c}$ とし、ノイズを乗せた潜在 $\mathbf{z}_{t}$ からバックボーン固有のフロー／速度ターゲット $\mathbf{u}_{t}$ を当てにいきます。

\mathcal{L}_{\mathrm{bid}}=\mathbb{E}_{\mathbf{z}_{0},t,\boldsymbol{\epsilon}}\left[\left\|f_{\theta}(\mathbf{z}_{t},t,\mathbf{c})-\mathbf{u}_{t}\right\|_{2}^{2}\right]

(1)

この式が言っているのは要するに、バックボーンが事前学習で元々最小化していた量を、そのまま最小化し続ける、ということです。新しい損失を発明したわけではありません。条件 $\mathbf{c}$ にカメラを1材料として混ぜただけで、目的関数の形は動かしていない。第1段で事前学習の能力が壊れにくいのは、この「何も変えていない」ことの直接の結果です。