JA EN
体系エージェント
·★ 会員·論文·12分で読めます

論文解説: Mental World Modeling — 物理だけでなく「心」まで遷移させるワールドモデル

シーンの物理を完璧に追えても、人の次の行動は当てられない——信念・意図・感情・規範を状態変数として持ち、行動が物理と心を同時に更新する Mental World Modeling (MWM) の定式化と、訓練不要ベースライン Mentis による8モデル検証を、論文本文から数値つきで解説する。

対象imageタスクagents

Mental World Modeling

一次資料 — この記事の根拠

論文の発表 2026-07-29この解説の公開 2026-08-13同月

Mental World ModelingHao Fei, Yiran Zhao · 2026-07-29 · v1arXiv:2607.27201論文ページ·PDF
原文の要旨(Abstract)を読む

World models enable a predictive substrate for planning and action, yet existing formulations merely answer a physical question: what/where it is, and how will it evolve. Human behavior, however, is driven by hidden mental state (what a person believes, wants, intends, feels, and considers socially permissible), so a model that tracks the physical scene but not what each agent knows and believes about it predicts the wrong action for the right-looking scene. We formulate Mental World Modeling (MWM), a generic theoretical framework that makes mental variables core components of a world model rather than posthoc rationales: MWM aintains a coupled physical-mental world state, renders a target-specific partial observation, and simulates how candidate actions jointly update both components. We instantiate the framework in MENTIS, a training-free and fully inspectable baseline that decomposes the process into state parsing, target-observation generation, action decomposition, coupled physical and mental transition, and branch-level value evaluation. On a manually constructed, quality-controlled dataset of situated decision scenarios spanning text, image, and sounding-video stories, experiments with 8 modern LLM-based world models demonstrate that explicitly modeling the mental state is essential for predicting human decisions. Deeper analyses further expose the bottlenecks of current mental world modeling. We expect MWM as a next stage of world modeling, from simulating physical scenes to simulating the minds that act in them.


正しい風景から、間違った行動を予測する

マグカップが机の上にある。持ち主が目を離した隙に、誰かがカップを棚へ移した——さて、持ち主は次にどこへ手を伸ばすでしょうか。

物理的には、カップは棚にあります。しかし持ち主は移動を見ていないので「カップは机にある」と信じたままです。だから手は机に伸びる。物体配置を完璧に追跡するモデルでも、この人の頭の中を追跡していなければ「棚に手を伸ばす」と予測してしまう。論文はこれを「正しく見えるシーンに対して間違った行動を予測する」問題として掲げます(§1, Figure 2)。

この論文(Hao Fei & Yiran Zhao)が提案する Mental World Modeling(MWM) は、この欠落を埋める枠組みです。ワールドモデルといえばDreamer系の潜在状態型、Sora/Genieの映像生成型、Marbleの3D空間型が代表格ですが、論文は3系統とも「物体・位置・形状・運動」という物理的基盤を対象にし、世界の中の人間を「動く物体の一種」として扱ったままだと整理します(§2.1)。MWMの主張は一文です: 世界の次の状態は、物理だけでなく心でもある

直感: 心は後付けの説明ではなく、状態変数

既存のTheory of Mind(他者の信念や意図の推論)研究の多くは「この人は何を信じているか」を静的な一問一答で問います。MWMはそれと違い、信念・意図・感情・規範を時間発展する状態変数として持ち、行動のたびに物理状態と一緒に更新することを要求します(§2.2)。

なぜ両方必要か。論文の証明スケッチ(Property 3.1)はこうです。同じ物理状態でも信じていることが違えば真の行動分布は変わり得るが、物理しか見ないモデルは両者を区別できず同じ予測を返すしかない。逆に心だけのモデルは「見えるか・届くか」が違う状況を区別できない。ゆえに物理と心の結合状態が要る(§3.1)。

定式化の骨格: POMDPに心の変数を足す

MWMは部分観測マルコフ決定過程(POMDP: 状態の一部しか観測できない意思決定の枠組み)を土台にします(§3.3)。

st=(stphy,stment)s_t = \big(s_t^{\mathrm{phy}},\, s_t^{\mathrm{ment}}\big)
(1)

つまり、時刻 tt の世界を1枚の写真ではなく、「何がどこにあるか」の欄と「誰が何を思っているか」の欄が並んだ2欄の台帳として書く、ということです。心の欄は物の欄のおまけではなく同格で、次の時刻へそのまま持ち越されます。

世界状態 sts_t は、物理成分(物体・人物・空間関係・環境)と心的成分(各人の心・集団の心・社会的関係・場の雰囲気)のペア、という宣言です。個人の心はさらに、信念・注意・目標・意図・感情・性向・規範・行動制約などの型付きフィールドに分解されます(Eq. 8)。1ステップは3つの関数で流れます。

st Ωϵ otϵ Πϵ atϵ Tθ st+1s_t \xrightarrow{\ \Omega_\epsilon\ } o_t^{\epsilon} \xrightarrow{\ \Pi_\epsilon\ } a_t^{\epsilon} \xrightarrow{\ T_\theta\ } s_{t+1}
(2)

つまり矢印を左から順に、「その人に見えている分だけを世界から切り出す」「切り出した分だけで次の一手を決める」「その一手で世界が次の姿になる」と読む、ということ。3本目の矢印だけが台帳の全欄を書き換えられる立場にいます。

観測生成 Ωϵ\Omega_\epsilon が対象人物 ϵ\epsilon一人称の部分観測 otϵo_t^\epsilon を描き、方策 Πϵ\Pi_\epsilon がその観測だけから行動を出し、遷移 TθT_\theta が次の結合状態を予測する、という読み方です。対象が条件づけるのは観測であって世界状態ではない——だからカップの移動を見ていない人の誤信念からの行動が自然に表現できます。方策は候補行動上の確率分布で、評価でも「1位と次点の決定マージン」が測られます(§6.2)。分布の尖り方の感覚は図で掴めます。

FIG 1候補行動のスコアを確率分布に直したときの尖り方。分布が平らだと決定マージンが薄く、わずかなスコア誤差で選択が入れ替わる——MWMの評価で決定マージンやタイ率を計測するのはこのため

観測は濾過、行動は二重奏、遷移は結合

観測生成は情報のフィルタリングです。「うつむいて小声で話す」姿は観測できても、恥なのか安堵なのかは観測できません。心的観測は自己観測とToM推論の束で、意図的に視点依存: 泣いている人を見て、賞を期待していたと知る人は「落胆」、救出直後だと知る人は「安堵」と推論し、どちらも真の状態と一致しなくてよい(Eq. 14)。

つまり、次の世界を「物がどうなるか」と「心がどうなるか」の2本の予測に分け、掛け合わせて1つに戻す、ということです。掛け算になっているので、片方だけ当てても次の1ステップは当たりません。

この先にあるもの

§

ここから先は会員限定です

解説記事371本・教科書26章・学生モード48単元・論文精読6本が、月額¥490ですべて読み放題になります。新しい解説は毎日3本ずつ増えます。いつでも解約でき、解約後も期間の終わりまで読めます。

会員の方はログインすると続きが表示されます

参考文献

  1. Hao Fei, Yiran Zhao. (2026-07-29) Mental World Modeling. arXiv:2607.27201論文ページ·PDF

本記事は上記論文の本文にもとづいて執筆しています。数値・主張は原典を優先してください。

コメント

コメントにはログインが必要です