2026-08-13·無料·論文·12分で読めます

論文解説: Mental World Modeling — 物理だけでなく「心」まで遷移させるワールドモデル

シーンの物理を完璧に追えても、人の次の行動は当てられない——信念・意図・感情・規範を状態変数として持ち、行動が物理と心を同時に更新する Mental World Modeling (MWM) の定式化と、訓練不要ベースライン Mentis による8モデル検証を、論文本文から数値つきで解説する。

要点

従来のワールドモデルは物体・位置・形状・運動という物理を対象とし、人間を動く物体の一種として扱ってきた。
Mental World Modeling（MWM）は、世界の次の状態を物理と心の結合状態として扱い、信念・意図・感情・規範を時間発展する状態変数とする。
1ステップは、観測生成Ω、方策Π、遷移Tの3つの関数で進み、方策は対象人物の観測だけから行動を出す。
8モデルの平均F1は、直接回答の63.3から、フルMWM（Mentis）で87.9へ上がり、人間の参照値は98.5である。
オラクル介入では遷移を正解にした場合の伸びが+3.5と最大で、遷移シミュレーションが単独最大のボトルネックである。

#agents #world-model #theory-of-mind #pomdp #llm

対象imageタスクagents

Mental World Modeling

一次資料 — この記事の根拠

論文の発表 2026-07-29→この解説の公開 2026-08-13同月

Mental World ModelingHao Fei, Yiran Zhao · 2026-07-29 · v1arXiv:2607.27201論文ページ·PDF

原文の要旨（Abstract）を読む

World models enable a predictive substrate for planning and action, yet existing formulations merely answer a physical question: what/where it is, and how will it evolve. Human behavior, however, is driven by hidden mental state (what a person believes, wants, intends, feels, and considers socially permissible), so a model that tracks the physical scene but not what each agent knows and believes about it predicts the wrong action for the right-looking scene. We formulate Mental World Modeling (MWM), a generic theoretical framework that makes mental variables core components of a world model rather than posthoc rationales: MWM aintains a coupled physical-mental world state, renders a target-specific partial observation, and simulates how candidate actions jointly update both components. We instantiate the framework in MENTIS, a training-free and fully inspectable baseline that decomposes the process into state parsing, target-observation generation, action decomposition, coupled physical and mental transition, and branch-level value evaluation. On a manually constructed, quality-controlled dataset of situated decision scenarios spanning text, image, and sounding-video stories, experiments with 8 modern LLM-based world models demonstrate that explicitly modeling the mental state is essential for predicting human decisions. Deeper analyses further expose the bottlenecks of current mental world modeling. We expect MWM as a next stage of world modeling, from simulating physical scenes to simulating the minds that act in them.

正しい風景から、間違った行動を予測する

マグカップが机の上にある。持ち主が目を離した隙に、誰かがカップを棚へ移した——さて、持ち主は次にどこへ手を伸ばすでしょうか。

物理的には、カップは棚にあります。しかし持ち主は移動を見ていないので「カップは机にある」と信じたままです。だから手は机に伸びる。物体配置を完璧に追跡するモデルでも、この人の頭の中を追跡していなければ「棚に手を伸ばす」と予測してしまう。論文はこれを「正しく見えるシーンに対して間違った行動を予測する」問題として掲げます（§1, Figure 2）。

この論文（Hao Fei & Yiran Zhao）が提案する Mental World Modeling（MWM） は、この欠落を埋める枠組みです。ワールドモデルといえばDreamer系の潜在状態型、Sora/Genieの映像生成型、Marbleの3D空間型が代表格ですが、論文は3系統とも「物体・位置・形状・運動」という物理的基盤を対象にし、世界の中の人間を「動く物体の一種」として扱ったままだと整理します（§2.1）。MWMの主張は一文です: 世界の次の状態は、物理だけでなく心でもある。

直感: 心は後付けの説明ではなく、状態変数

既存のTheory of Mind（他者の信念や意図の推論）研究の多くは「この人は何を信じているか」を静的な一問一答で問います。MWMはそれと違い、信念・意図・感情・規範を時間発展する状態変数として持ち、行動のたびに物理状態と一緒に更新することを要求します（§2.2）。

なぜ両方必要か。論文の証明スケッチ（Property 3.1）はこうです。同じ物理状態でも信じていることが違えば真の行動分布は変わり得るが、物理しか見ないモデルは両者を区別できず同じ予測を返すしかない。逆に心だけのモデルは「見えるか・届くか」が違う状況を区別できない。ゆえに物理と心の結合状態が要る（§3.1）。

定式化の骨格: POMDPに心の変数を足す

MWMは部分観測マルコフ決定過程（POMDP: 状態の一部しか観測できない意思決定の枠組み）を土台にします（§3.3）。

s_t = \big(s_t^{\mathrm{phy}},\, s_t^{\mathrm{ment}}\big)

(1)

つまり、時刻 $t$ の世界を1枚の写真ではなく、「何がどこにあるか」の欄と「誰が何を思っているか」の欄が並んだ2欄の台帳として書く、ということです。心の欄は物の欄のおまけではなく同格で、次の時刻へそのまま持ち越されます。

世界状態 $s_t$ は、物理成分（物体・人物・空間関係・環境）と心的成分（各人の心・集団の心・社会的関係・場の雰囲気）のペア、という宣言です。個人の心はさらに、信念・注意・目標・意図・感情・性向・規範・行動制約などの型付きフィールドに分解されます（Eq. 8）。1ステップは3つの関数で流れます。

s_t \xrightarrow{\ \Omega_\epsilon\ } o_t^{\epsilon} \xrightarrow{\ \Pi_\epsilon\ } a_t^{\epsilon} \xrightarrow{\ T_\theta\ } s_{t+1}

(2)

つまり矢印を左から順に、「その人に見えている分だけを世界から切り出す」「切り出した分だけで次の一手を決める」「その一手で世界が次の姿になる」と読む、ということ。3本目の矢印だけが台帳の全欄を書き換えられる立場にいます。

観測生成 $\Omega_\epsilon$ が対象人物 $\epsilon$ の一人称の部分観測 $o_t^\epsilon$ を描き、方策 $\Pi_\epsilon$ がその観測だけから行動を出し、遷移 $T_\theta$ が次の結合状態を予測する、という読み方です。対象が条件づけるのは観測であって世界状態ではない——だからカップの移動を見ていない人の誤信念からの行動が自然に表現できます。方策は候補行動上の確率分布で、評価でも「1位と次点の決定マージン」が測られます（§6.2）。分布の尖り方の感覚は図で掴めます。

FIG 1候補行動のスコアを確率分布に直したときの尖り方。分布が平らだと決定マージンが薄く、わずかなスコア誤差で選択が入れ替わる——MWMの評価で決定マージンやタイ率を計測するのはこのため

観測は濾過、行動は二重奏、遷移は結合

観測生成は情報のフィルタリングです。「うつむいて小声で話す」姿は観測できても、恥なのか安堵なのかは観測できません。心的観測は自己観測とToM推論の束で、意図的に視点依存: 泣いている人を見て、賞を期待していたと知る人は「落胆」、救出直後だと知る人は「安堵」と推論し、どちらも真の状態と一致しなくてよい（Eq. 14）。

行動は物理と心の2成分を持ちますが、足し算ではなく同じ行為の2次元です（§3.3.1）。「出て行け」を本気で言うのと冗談で言うのは発話がほぼ同じでも心的行動が違う。

遷移はこの分解を因果チャネルとして使います。

T_\theta = T_\theta^{\mathrm{phy}}\big(s_{t+1}^{\mathrm{phy}} \mid s_t^{\mathrm{phy}}, s_t^{\mathrm{ment}}, a_t^{\epsilon,\mathrm{phy}}\big)\cdot T_\theta^{\mathrm{ment}}\big(s_{t+1}^{\mathrm{ment}} \mid s_t^{\mathrm{phy}}, s_t^{\mathrm{ment}}, a_t^{\epsilon,\mathrm{phy}}, a_t^{\epsilon,\mathrm{ment}}\big)

(3)

つまり、次の世界を「物がどうなるか」と「心がどうなるか」の2本の予測に分け、掛け合わせて1つに戻す、ということです。掛け算になっているので、片方だけ当てても次の1ステップは当たりません。

要するに、次の物理状態は行動の物理成分から決まり（「慰めたい」という意図は空気を動かさない）、次の心的状態は心的成分にも依存する（同じ接近でも脅しか気遣いかで心は違う方向に動く）、という書き分けです（Eq. 17）。

Mentis: 全段が検査できる訓練不要ベースライン

検証のため、論文は追加学習なし（training-free）でLLMを各モジュールに割り当てる6段パイプライン Mentis を実装します（§5.2）。

def mentis_step(scene, target, options):
    s = parse_state(scene)                  # 1) 物理+心のJSON状態に構造化
    o = render_observation(s, target)       # 2) 対象が知り得る範囲だけに濾過
    acts = [decompose(c) for c in options]  # 3) 各選択肢を(物理,心)に分解
    futs = [transition(s, a) for a in acts] # 4) 枝ごとに次状態を並列予測
    scores = evaluate(s, o, acts, futs)     # 5) 3軸スコア + 安全veto
    return decide(scores)                   # 6) 決定則はLLMの外・決定的

設計原理は「選ぼうとしている枝を構築する前に答えを選んではならない」（§5.1）。評価器は各枝を「心的一貫性・物理的妥当性・社会的適切さ」の3軸で採点し、安全性の拒否権も持ち、最終決定はLLMの外の決定的ルールが下します（§5.5）。全段が検証可能なJSONを吐くので、失敗の原因段を切り分けられます。

評価データは自作の Menti-Bench: テキスト320・画像100・音つき動画28の計448レコードで、正解の状態・観測・全6選択肢の次状態（計2,688個）まで人手注釈済み。78%のシーンに2人以上が登場します（§6.1）。

実験1: 必要性の階段

主実験は「システムの梯子」: 選択肢のみのS0から、直接回答S1、CoT付きS2、自己一貫性S3、自由記述の状態メモS4、型付き状態S5、フルMWMのS6まで、約束事を1段ずつ足します。世界モデル役はOpenAI 5種とAnthropic 3種の計8モデル。F1の8モデル平均（§7.1, Table 4）:

段	システム	平均F1
S0	選択肢のみ	31.3
S1	直接回答	63.3
S3	+自己一貫性(6票)	77.9
S5	+型付き状態	82.6
S6	フルMWM (Mentis)	87.9

8モデル全部で全段が単調に上昇。人間の参照値は98.5です。見どころは3つ。①6回の多数決S3でもS6に平均10.0点届かず、最弱モデルのS6（gpt-4.1: 84.9）が最強モデルのS3（gpt-5.6-sol: 83.6）を上回る——計算量では届かない領域が構造で開く。②心を外すと平均−12.1、物理を外すと−16.5、遷移の結合を切るだけでも−6.4で、順序は8モデル共通。両チャネルとその結合が必要という主張がそのまま数字に出ています。③S6−S1の伸びは弱いモデルほど大きく（gpt-4.1で+28.0）、構造は弱いモデルに最も効きます。

実験2: ボトルネックは遷移

最良構成でも人間との差は7.8点。1段だけ正解注釈に差し替えるオラクル介入で解剖すると（§7.2, gpt-5.6-sol）、遷移を正解にすると+3.5、状態+2.8、観測+1.7、行動分解+0.7。遷移シミュレーションが単独最大のボトルネックで、これだけで人間ギャップの45%を回収します。4段全部を正解にしても97.0（+6.3）と単独ゲインの和より小さいのは、上流の誤りが下流でも数えられるから。診断は明快:「制約はいまの世界の表現ではなく、結合した世界がどう変わるかのシミュレーション」。

どこで効き、モダリティはどうなるか

対人シーンは直接回答の最弱カテゴリ（66.5）からフルMWMの最強カテゴリ（92.9）に反転し、ゲイン+26.4は最大。物・資源のシーンはゲイン最小（+14.0）でした（§7.3）。隠れた心的変数が決定を握る場面ほど効くという理論通りの分布です。

モダリティ面では、直接回答のテキスト70.8・画像67.0・動画64.8という媒体ペナルティが、S6では90.5 / 91.2 / 90.9とほぼ消えます。構造化が視覚・音声の証拠を共通形式に変換するからです。画像をキャプションに置換すると構造が深いほど大きく落ちる（S6で−6.4）ので、媒体の証拠は実際に使われています（§7.4）。ただし画像100件・動画28件という規模のため、絶対値は「方向性の参考」と論文自身が断っています。

論文の限界と読むときの注意

Mentisはプロンプト表現への感度、心的状態の過剰推論、段をまたぐ誤差伝播という弱点を持ちます（Appendix B.3）。行動空間は6択に固定で自由生成は未評価、遷移も1ステップ形式。データは448件と小さくモデル順位づけには使えない設計で、規範判断は英語圏の日常シーンに基づく文化的射程の限定つきです（Appendix F）。倫理面では「心的状態の推論は測定ではなく仮説」という原則が独立の節にあり（Appendix A）、この結果を「LLMが心を理解した証拠」と読むことは論文自身が拒否しています。

現場ではこう使う

エージェント/対話システム開発者: いちばん再現しやすいのは梯子の中段。回答前に世界状態を書かせるだけ（S4: 80.3）で自己一貫性6票（77.9）を超え、型付きスキーマにすると更に伸びる、というのが実測です。プロンプトに「state → observation → 候補ごとの結果 → 採点」の順序を強制するだけでMWMの骨格になります。
触る道具・設定: 各段の出力をJSON Schemaで検証し不合格なら再試行、採点は全枝を同一コンテキストに入れる比較一括採点、最終決定はLLMの外の決定的ルール＋固定タイブレーク。動画ならシーン変化検出つきフレームサンプリングと音声書き起こしの注入（Appendix B.2）。この「全段アーティファクト化」は監査ログ設計にそのまま流用できます。
事故になる落とし穴: ①視点漏れ——対象が知り得ない情報を観測に混ぜると偽信念シーンで自信満々に間違える。ベンチマークは「Unknownと書くべき欄に値を埋めたら減点」という規約で検出します。②心的状態の過剰推論——根拠の薄い感情や意図を埋める癖は本論文でも第一級の失敗モード。③実ユーザー相手の心的推論は機微情報の処理そのもので、同意・目的限定・訂正可能性なしの運用は支援ではなく監視になります。確信がないときの正解は「尋ねる・保留する・人に渡す」——これも論文の言葉です（Appendix A）。

LLMエージェント入門 — 観測→行動のループという、本稿の土台になる基本構造
論文解説: EnvACE — 環境の応答を自分で演じる別系統の「世界モデル内在化」
論文解説: GST-Bench — VLMの空間認識を測る、物理側の世界理解ベンチマーク