論文解説 UrbanGround: 街に降ろされたMLLMエージェントは、どこで崩れるのか
香港の全域3D地理データから作った実スケールの街に、MLLMエージェントを一人称で降ろす。視覚認識は9割、方位理解は4割、長距離ナビはほぼ0%。「見える」と「動ける」の断絶を測ったベンチマーク論文を1から解説する。
UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City
一次資料 — この記事の根拠
論文の発表 2026-08-27→この解説の公開 2026-09-03同月
UrbanGround: From Local Perception to Spatial Agency in a Real-Scale CityTianjie Ju, Zheng Wu, Yueqing Sun ほか · 2026-08-27 · v1arXiv:2608.27456論文ページ·PDF原文の要旨（Abstract）を読む
Multimodal large language models (MLLMs) can interpret a street view, but urban agency depends on whether such local evidence remains useful after the agent starts to move. In this paper, we investigate how far current MLLM agents can turn local urban perception into reliable action in a complicated real-scale city. We propose UrbanGround, the first sandbox to make this question testable in a physically constrained replica of Hong Kong built from territory-wide 3D geospatial data. UrbanGround supports closed-loop interaction from a first-person view and provides an interactive map for navigation. Agents can directly enter the 3D city and explore from a first-person view. Our analysis follows the growth of the spatial problem through three research questions. We first test whether an agent can ground a local scene well enough to answer spatial questions after active observation. Then we ask whether that grounding supports navigation as destinations become farther away and less explicit. Finally, we examine whether the resulting behavior survives changes in route availability and pedestrian motion. Contemporary MLLM agents usually show useful atomic abilities in visual recognition and short-range spatial reasoning, while orientation and pedestrian-aware movement remain unreliable. Their central failure emerges over extended exploration, where local abilities do not compose into sustained goal-directed behavior and errors accumulate without effective correction. We hope UrbanGround will support broader study of how far current MLLM agents can explore reliably in complex, open-ended urban environments.
「見える」と「動ける」は別の能力だ
街角の写真を1枚渡せば、いまのマルチモーダル大規模言語モデル（MLLM）は看板を読み、店の種類を当てられます。では同じモデルをその街に実際に降ろして「歩いて目的地まで行け」と言ったら、何が起きるか。見えることと動けることは、同じ一つの能力なのか。これがこの論文の問いです。
原題は "UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City"（arXiv:2608.27456、2026年8月27日公開、上海交通大学ほか）。
要旨を日本語で要約すると——MLLMは街の風景を解釈できるが、都市での主体性は、その局所的な証拠が動き始めたあとも有用であり続けるかにかかっている。著者らは香港の物理制約つき複製 UrbanGround を提案し、一人称の閉ループ操作と対話地図を与えたうえで、①能動的な観察のあと局所シーンを接地して空間的な質問に答えられるか、②その接地は目的地が遠く曖昧になっても航法を支えるか、③経路の可用性や歩行者の動きが変わっても振る舞いは保たれるか、を順に調べる。結果、視覚認識と短距離の空間推論は有用な水準にある一方、方位の把握と歩行者を意識した移動は不安定で、中心的な失敗は長い探索の中で現れる。局所的な能力が持続的な目標指向行動へ合成されず、誤りが訂正されないまま蓄積していく、というものです。
比喩: 曲がり角を曲がったあとの「北東」
初めての街で地図を見て「駅は北東だ」と覚え、商店街で1回曲がった瞬間、その北東がどっちだったか自信を持って言えるでしょうか。看板を読むのは目の前の証拠を意味に変える作業、駅の方角を保つのは視界から消えた証拠を自分の向きに合わせて更新し続ける作業です。前者は写真1枚でできますが、後者は「1歩前の自分」を覚えていないとできません。
論文はこの区別を、接地（grounding）・持続（persistence）・適応（adaptation）という積み上がる3能力として定義します（§3.1）。接地はいまの姿勢の周りに課題に関係する関係を作ること、持続はそれが一人称視界から消えたあとも使える形で保つこと、適応は前提が壊れたときに作り直すこと。RQ1が接地、RQ2が持続、RQ3が適応を主に測ります。
「向きを保つ」の難しさは2本の矢印のなす角として体感できます。自分の進行方向と目的地の方向の角度が小さければ前進で近づき、90度を越えれば進むほど遠ざかる。エージェントは毎ステップ、この角度を画像だけから復元し直しています。
香港をまるごとUnityに
環境は香港特別行政区・地政総署が公開する3Dデジタル地図から作られます（§3.2）。斜め空中写真から復元した全域テクスチャ付きメッシュ（3D Visualisation Map、WGS84のCesium 3D Tiles）が街の見た目を、歩行者道路記録由来の3D線分データ（3D Pedestrian Network）が歩行空間のつながりを担います。
UrbanGroundはこのタイル階層を実行時にUnityへ読み込み、表示中の形状を描画だけでなく衝突判定にもそのまま使います。建物・壁・高低差が実際に通行を妨げ、座標を書き換えて壁を抜けることはできません。歩行者ネットワークのほうは「歩くべき空間」を定義するだけで、エージェントを辺の上には拘束しません。加えて時刻（空・太陽位置・影・夜間照明）と天候（雨・霧）が連続的に変わり、歩道にはMicrosoft Rocketboxアバターの歩行者が実際に歩いています（§3.3）。
5段の階段と実験設定
課題は、インターフェースを固定したまま「保つべき空間状態の量」を増やす5段の階段です（§3.5）。レベル1が局所理解（視覚認識・方位理解・能動探索QA）でRQ1に対応。レベル2が明示的指示下の航法（短距離・長距離・指示追従・制約付き）、レベル3が暗黙的指示下の探索（場所種別検索・意図推論）、レベル4が複数目的地の計画（時間枠・多点巡回）で、ここまでがRQ2。レベル5の動的環境（走行中の道路閉鎖・歩行者の中の航法）がRQ3です。
実験は香港各地に散らばる810件の人手検証済みインスタンスで行われ、すべて人間のテスターが同じ100ステップ制限内で完走できることが確認されています（§4.1）。1手の移動は最長2秒なので、100ステップは最大200秒ぶんの移動指令にあたります。到達判定は目的地から15メートル以内。評価対象はGPT-5.5/5.4/5.2、Claude-Opus-5/4.6、Gemini-3.6-Flash/3.1-Pro、Doubao-Seed-2.0-Pro、GLM-5V-Turbo、Kimi-K3の10種です。
コメント
コメントにはログインが必要です