論文解説: GST-Bench — VLMは動画から「空間の全体像」を掴めるか
部屋を一周した動画を見せたあと「いま君がいる場所から、さっきのソファはどっち？」と聞くと、最強のVLMでも人間の半分ほどしか答えられない——ByteDance SeedらのGST-Benchを論文本文から解説。ズルを封じるベンチマーク設計、22モデルの結果、そして訓練データで27点伸びた話まで。
GST-Bench: Can VLMs Develop Global Spatial Awareness from Video?
一次資料 — この記事の根拠
論文の発表 2026-08-06→この解説の公開 2026-08-13同月
GST-Bench: Can VLMs Develop Global Spatial Awareness from Video?Qifeng Zhang, Kaixiang Huang, Heng Dong ほか · 2026-08-06 · v1arXiv:2608.05747論文ページ·PDF原文の要旨（Abstract）を読む
Spatial intelligence is fundamental to embodied agents, yet existing benchmarks focus on local spatial perception from single or few viewpoints, overlooking global spatial awareness over continuous, long-horizon visual streams. To address this limitation, we introduce the Global-Spatial-Temporal Benchmark (GST-Bench), a VQA benchmark for global spatial intelligence in video understanding, comprising human-verified questions derived from 6,790 minutes of synthetically generated video. It requires models to perform accurate spatial inference from novel viewpoints unseen in the input video and to map egocentric observations onto global top-down images. A comprehensive evaluation of 22 state-of-the-art VLMs exposes a striking gap between models and humans: the strongest zero-shot model attains only 42.68, far below the human score of 79.08. To probe the cause of this gap, we construct GST-Bench-Local and find that models, despite strong local spatial understanding under the same task formulation, still fail to consolidate long-horizon observations into a globally consistent scene representation. We further provide GST-Train, a dataset for global spatial reasoning, as a complementary resource to facilitate future research on this challenge.
一文でいうと
GST-Bench（arXiv:2608.05747、ByteDance Seed・浙江大学・シンガポール国立大学）は、視覚言語モデル（VLM）が長い一人称視点の動画から「シーン全体の空間地図」を頭の中に組み立てられるかを測る動画VQAベンチマークです。合成動画6,790分ぶんから作った人手検証済みの2,762問で22の最新VLMを評価したところ、最強のモデルでも42.68点と、人間の79.08点に遠く及ばないことを示しました（Abstract）。
比喩: 内見動画だけ見せられた新居
引っ越し先の家を、不動産屋が撮った「玄関から入って各部屋を歩き回る動画」だけで下見したとします。動画を見終わったあなたに、誰かがこう聞きます。「いまあなたはキッチンの隅に立っています（動画には映っていなかった立ち位置です）。ここから寝室のクローゼットは、どの方角に何メートル？」
答えるには、動画の各フレームを覚えているだけでは足りません。フレームごとのバラバラな眺めを1枚の間取り図に統合し、その上に自分の現在地を置き、映っていない目標物との位置関係を推論する必要があります。人間はこれを日常的にやっています。論文は、この能力（グローバルな空間認識）が既存ベンチマークの穴だと指摘します。従来の空間ベンチマークは1〜数枚の画像から「AとBどちらが手前か」を当てるような局所的な知覚が中心で、動画ベースのものも「1フレーム見れば解ける問題」が混ざり、方向も前後左右のような粗い分類で採点されていました（§1, §2）。
三つの問いと12タスク
GST-Benchは、身体を持つエージェントがシーンを大域的に把握するときの根源的な三つの問いでタスクを整理します（§3.2）。
- 自己位置推定（Where am I?）: 動画に映っていない新しい視点画像を見て、トップダウン地図上での自分の位置と向きを当てる（2タスク）
- 物体位置推定（Where is the target?）: いまの視界に映っていない目標物について、自分から見た方向・距離・地図上の位置を当てる。目標の指定はカテゴリ名（semantic）と、動画中に赤枠で示す方式（visual）の2通り（6タスク）
- シーン構造理解（What does the scene look like?）: 探索動画に合うトップダウン画像を4択から選ぶ（写実/占有マップ/壁だけの間取り図の3難度）、短い移動クリップに合う軌跡を地図上の4候補から選ぶ（4タスク）
方向の答えは「左のほう」ではなく角度の数値で、距離はメートルで要求されます。「予測した方向」と「正解の方向」は2本の矢印として比べられ、そのなす角が小さいほど高得点です。この「方向を矢印のなす角で測る」感覚は、下の図で2本のベクトルを回してみると掴めます。
ズルを封じる4つの設計
このベンチマークの読みどころは、モデルが近道で正解できないようにする設計です（§1, §3.3）。
- 目標物は現在視点から必ず見えない。1フレームの知覚だけでは原理的に解けず、動画からの記憶の統合が必須になる
- 粗い分類ではなく数値で採点。「AとBどちらが近い？」ではなく距離と角度そのものを答えさせ、曖昧さを排除する
- トップダウン画像で「大域と局所の対応付け」を直接測る。一人称の観察を俯瞰図に写像できるかを問う
- 質問視点は動画のカメラ軌跡の外からサンプリング。動画のフレームと照合するだけの解き方を封じる
コメント
コメントにはログインが必要です