論文解説: Training Object Permanence in World Models — 動画モデルに「見えなくても物はそこにある」を教える
動画生成モデルは、隠れた物を消したり壁をすり抜けさせたりする。対象の永続性と固体性を測る150種のBlender課題WROPと、その合成データで追加学習した16BモデルPWM-WROPの結果を、評価方法の読み方まで含めて解説します。
要点
- 対象の永続性と固体性を動画モデルが持つかを問う論文で、150課題のデータ基盤WROPと150万件の学習用コーパスを公開した。
- WROPの課題は対象の永続性(OP)と固体性(OS)の2軸で6系統に分かれ、生成器は150個(OP 90、OS 60)ある。
- 各サンプルは1280×720・24fpsの120フレームで、重要な物理イベントが始まる60フレーム目で前後に切られる。
- パラメータは構造と表層に分け、構造は結末の丸暗記を、表層は見た目の手がかりによる物理推論の代用を防ぐ。
- 14モデルを真の継続・参照から生成・編集/転写に分け、16BのPWM-WROPは継続生成型で1位、全体で3位だった。
Training Object Permanence in World Models
一次資料 — この記事の根拠
論文の発表 2026-09-23→この解説の公開 2026-09-26同月
Training Object Permanence in World ModelsHaotian Zhang, Fengyuan Yu, Dezhi Luo ほか · 2026-09-23 · v1arXiv:2609.28654論文ページ·PDF原文の要旨（Abstract）を読む
Object permanence and solidity are hallmarks of human cognitive priors. Recent studies show that video generation models, a paradigmatic class of current world models, have begun to show emerged reasoning abilities, making them ideal candidates for building human-like physical intelligence. Do video models have emerged object permanence in them? If not, could we train them with a core-cognition inspired dataset? We introduce WROP (World Reasoning with Object Permanence), a data infrastructure of 150 hand-designed cognitive science inspired tasks, divided into six cognitive categories. We build Blender generators that randomize speed, lighting, camera angle, and other nuisance parameters while preserving each task's cognitive structure, yielding 10,000+ samples per task. We release a 1.5M-sample training corpus and a 300-question exam. On this exam we evaluate 14 video models: 3 reference-to-video, 7 edit, and 4 continuation, among which PWM-WROP, our 16B world model. In a blind pairwise Elo study, PWM-WROP ranks first among continuation models and third overall, behind only a statistical tie between two reference-to-video models. We release the data, exam, model answers, scores, weights, and PWM, our native-PyTorch training stack on AWS Trainium2.
この論文は何を問うているか
今回読むのは "Training Object Permanence in World Models"（arXiv:2609.28654、2026年9月23日公開）です。訳せば「世界モデルに対象の永続性を学習させる」となります。
アブストラクトの主張を要約します。対象の永続性（見えなくなった物も存在し続けること）と固体性（固い物どうしはすり抜けないこと）は、人間の認知の土台である。動画生成モデルは推論のような能力を見せ始めているが、対象の永続性は備わっているのか。無いなら、認知科学に着想を得たデータで学習させられるのか。著者らは6つの認知カテゴリーに分けた手作りの150課題からなるデータ基盤 WROP（World Reasoning with Object Permanence）を作った。Blenderの生成器は速度・照明・カメラ角度などを乱数で変えつつ課題の認知的な構造は保ち、1課題あたり1万件以上を生む。150万件の学習用コーパスと300問の試験を公開し、14の動画モデルを評価した。著者らの16BモデルPWM-WROPは、目隠しの一対比較によるEloで継続生成型の中で1位、全体で3位だった。データ・試験・スコア・重み・AWS Trainium2上の学習基盤も公開する、というものです。
比喩: 「いないいないばあ」が通じない動画モデル
赤ちゃんに「いないいないばあ」が通じるのは、手で顔を隠しても、その向こうに顔があり続けると分かっているからです。論文は発達心理学の知見として、乳児は生後3.5か月ごろには隠れた物を表象し、生後半年以内に固体性の違反に反応することを引いています（§1）。
ところが最新の動画生成モデルは、映像としてはきれいなのに、トンネルに入ったボールが別のレーンから出てきたり、穴より大きい球が板を通り抜けたりします。論文はこれを「構造的に上流の失敗」と位置づけます（§1）。すり抜けを許すモデルは正しい衝突も落下も描けず、その上に積む因果推論も同じ誤りを引き継ぐからです。
WROPはどう作られているか
課題は2つの軸で6系統に分かれます（§3.1）。
- 対象の永続性（OP）: OP-1 動く物が遮蔽物の裏を通って反対側から出る／OP-2 静止した物の並びがついたてに隠され、どいた後に同じ並びで戻る／OP-3 容器に入った物が、容器の移動や入れ替えに従って居場所を変える
- 固体性（OS）: OS-1 穴の大きさで通れるかが決まる障壁／OS-2 支えが抜かれたら落ちる／OS-3 衝突で物が消えたり合体したりしない
生成器は150個（OP 90、OS 60）です。各サンプルは1280×720・24fpsの120フレームで、重要な物理イベントが始まる60フレーム目で前後に切られます（§3.2）。モデルは前半60フレームを見て、イベントとその結果を含む後半を生成しなければなりません。
設計の要は、パラメータを2種類に分けた点です（§3.1）。
- 構造パラメータ: 物の個数、形、軌道、遮蔽の配置、穴の大きさ、接触のタイミング。課題の難しさを決め、サンプルごとに系統的に変える。決まった結末の丸暗記で解けないようにするため
- 表層パラメータ: 色、材質、照明、カメラ視点。物理の問題は変えずに見た目だけを散らす。見た目の手がかりで物理推論を代用させないため
たとえば「Marked_Boxes_Swap」では、印の付いた2つの箱が別々の物を覆ったまま位置を入れ替えます（§3.3）。最後の画面位置だけでは答えが決まらず、箱の同一性を追わないと解けません。なお動きは物理エンジンではなく、作者がBlenderのキーフレームで書いたものです（§3.2）。遮蔽や接触を狙ったフレームで起こすためで、物理的な正しさは作者の責任だと明記されています。
14モデルを「インターフェース」で3つに分ける
評価対象の14モデルは、入力動画との関係で3つに分けられます（§4.2）。
- 真の継続: 入力を前置きとして続きを作る。PWM-WROP、Grok Imagine（動画延長）など4つ
- 参照から生成: 入力を見た目の参考にし、イベント全体を自分の時間軸で作り直す。Wan 3.0 Prime、MiniMax H3、Seedance 2.5
- 編集・転写: 入力の区間をフレームごとに塗り直す。出力が入力と同じ時間を占めるので、遮蔽の境界より後の出来事を原理的に描けない。7つ
各モデルに渡すのは入力動画とプロンプトだけで、正解は見せず、プロンプトも加工しません（§4.3）。
コメント
コメントにはログインが必要です