論文解説: SceneMosaic — 画像から「物理的に正しい部屋」を数分で、しかも何通りも作る混成エージェント法

1枚の部屋の画像から、ロボット学習やゲームにそのまま使える3Dシーンを、物理的な矛盾なしに・数時間ではなく数分で・家具配置のバリエーション付きで作る手法の解説。画像モデルの「速さ」とVLMエージェントの「正確さ」をどう繋いだかを、数式と動く図で読み解く。

SceneMosaic: Efficient and Diverse Simulation-Ready Scene Generation via Hybrid Agentic Layout Evolution

一言でいうと

「画像モデルにたたき台を描かせ、AIエージェントに直させる。ただし部屋を小さな区画に割って直させるので、区画の組み合わせから何通りもの部屋が生まれる」手法です。

原題は "SceneMosaic: Efficient and Diverse Simulation-Ready Scene Generation via Hybrid Agentic Layout Evolution"（arXiv:2609.05594、香港大学ほか、2026年9月）。検索・引用にはこの原題を使ってください。

abstractを要約します。ロボット学習やゲームには「シミュレータに読み込める多様な室内シーン」が大量に要るが、その大規模生成は難しい。VLM（画像も読める言語モデル）を使うエージェント型のtext-to-3D手法は高品質だが、物体を1つずつ置いては直す反復が高コスト。画像から一気に3Dを出すパラメトリックなimage-to-3D手法は速いが、姿勢が不正確で物理的に破綻しやすい。さらに両者とも1入力に1配置しか出せず、人の活動で常に並べ替わる現実の部屋の性質を映せない。SceneMosaicは画像ベースの事前知識で初期候補を得てからVLMエージェントで進化させ、効率と物理的妥当性を両立する。進化ではシーンの「局所性」を利用して独立な局所単位に分解し、別々に進化させてから直積で全体を合成する。SceneEval-100では最強のエージェント型手法と同等の意味的配置品質を24倍の速さで達成し、物理的違反を大幅に減らし、人手評価でも最高評価を得た、と述べています。

比喩: 模様替えは「部屋ごと」でなく「コーナーごと」に考える

部屋全体を一度に模様替えしようとすると、ソファを動かせばテレビの向きが変わり、テレビを動かせば棚が邪魔になり、と判断が絡み合って手が止まります。実際の人間は「机まわり」「テレビまわり」のようにコーナー単位で考えます。机の上の配置はベッドの向きとほぼ無関係だからです。

SceneMosaicの核心はこれです。部屋を「土台となる物（机・床・壁）と、その上に載る物たち」のまとまりに分け、各まとまりを独立に整える。机まわりに3案、テレビまわりに2案あれば、組み合わせだけで6通りの部屋ができる。小さなタイルで大きな絵を作る「モザイク」という名前はこの発想から来ています。

何が問題だったのか: 速さと正しさの二者択一 (§1)

論文は既存手法を2流派に整理します。エージェント型text-to-3DはVLMが「置く→見る→直す」を反復し品質は高いが、SceneSmithやSAGEといった最先端手法は1シーンに数時間かかる。パラメトリックimage-to-3Dは画像から各物体のメッシュと姿勢を一気に推定するので速く、現実の配置の「らしさ」も写り込むが、姿勢がずれて物体同士がめり込む・宙に浮くといった破綻が頻発する（§1, §2）。

論文がさらに強調するのが多様性の欠如です。どちらも1入力に1配置が基本で、乱数を変えて再実行しても「部屋の機能は保ったまま並びだけ変わる」構造的な模様替えはめったに出ない（§1）。シミュレーションで学ぶロボットには同じ部屋のいろいろな状態が汎化に効くので、実用上大きな穴です。

全体の流れ: 画像→物体→木構造→局所単位 (§3.1–3.2)

入力は1枚の参照信号（画像、またはプロンプトから生成した画像）、出力は基準シーン1つと変種 $m$ 個です。各物体 $o_i$ はメッシュ $\mathcal{M}_i$ と、位置 $\mathbf{p}_i$・回転 $\mathbf{R}_i$・スケール $\mathbf{s}_i$ の組 $\mathbf{T}_i$ で表されます（§3.1）。

1. 物体登録: 知覚エージェントが画像内の物体を一覧化し、SAM3でマスクを切り出し、抜け・重複・境界の曖昧さを反復検証で直す（§3.2）。
2. 物体単位の3D化: SAM3Dで各物体を個別に再構成し、メッシュと初期姿勢を得る。ここが「画像ベースの事前知識」で、速さの源です。
3. 関係推論: マネージャーエージェントが支持関係・包含関係・壁の復元などをサブエージェントに割り振り、DAGの依存順で処理する（§3.2）。
4. シーン木と局所単位: attach/contain関係から階層木を作り、「非葉ノード（アンカー）＋その直下の子」を1つの局所単位とする（§3.2）。

局所単位は「ほぼ」独立ですが、「床の椅子は机を向く」「机上のモニタは机と同じ向き」のような少数の関係は単位をまたぎます。これは単位横断制約として抜き出し、各単位のプロンプトに注入します（§3.2, 補遺§8）。制約は「一意に妥当な配置がある強い機能的関係」に限り、絵画とソファのような弱い関係はわざと除外する。増やしすぎると多様性が死ぬからです（補遺§8）。

この分解が多様性の源泉になる理由を先に体感しておきましょう。単位が $n$ 個、各単位に数案ずつ変種があれば、候補数は変種数の $n$ 乗で増えます。