2026-08-13·無料·論文·10分で読めます

論文解説: GST-Bench — VLMは動画から「空間の全体像」を掴めるか

部屋を一周した動画を見せたあと「いま君がいる場所から、さっきのソファはどっち？」と聞くと、最強のVLMでも人間の半分ほどしか答えられない——ByteDance SeedらのGST-Benchを論文本文から解説。ズルを封じるベンチマーク設計、22モデルの結果、そして訓練データで27点伸びた話まで。

要点

GST-Benchは、VLMが長い一人称視点の動画からシーン全体の空間地図を組み立てられるかを測る動画VQAベンチマークです。
合成動画6,790分ぶんから作った人手検証済みの2,762問で22のVLMを評価し、最強のモデルでも42.68点で、人間の79.08点に遠く及びません。
目標物は現在視点から必ず見えず、方向は角度の数値、距離はメートルで採点するため、1フレームの知覚だけでは解けません。
Qwen3-VL-8Bを訓練データGST-Trainで微調整すると、25.89点から53.52点へ27.63点向上しました。

#benchmark #vlm #spatial-reasoning #video-understanding #embodied-ai

対象imageタスクgeneration

GST-Bench: Can VLMs Develop Global Spatial Awareness from Video?

一次資料 — この記事の根拠

論文の発表 2026-08-06→この解説の公開 2026-08-13同月

GST-Bench: Can VLMs Develop Global Spatial Awareness from Video?Qifeng Zhang, Kaixiang Huang, Heng Dong ほか · 2026-08-06 · v1arXiv:2608.05747論文ページ·PDF

原文の要旨（Abstract）を読む

Spatial intelligence is fundamental to embodied agents, yet existing benchmarks focus on local spatial perception from single or few viewpoints, overlooking global spatial awareness over continuous, long-horizon visual streams. To address this limitation, we introduce the Global-Spatial-Temporal Benchmark (GST-Bench), a VQA benchmark for global spatial intelligence in video understanding, comprising human-verified questions derived from 6,790 minutes of synthetically generated video. It requires models to perform accurate spatial inference from novel viewpoints unseen in the input video and to map egocentric observations onto global top-down images. A comprehensive evaluation of 22 state-of-the-art VLMs exposes a striking gap between models and humans: the strongest zero-shot model attains only 42.68, far below the human score of 79.08. To probe the cause of this gap, we construct GST-Bench-Local and find that models, despite strong local spatial understanding under the same task formulation, still fail to consolidate long-horizon observations into a globally consistent scene representation. We further provide GST-Train, a dataset for global spatial reasoning, as a complementary resource to facilitate future research on this challenge.

一文でいうと

GST-Bench（arXiv:2608.05747、ByteDance Seed・浙江大学・シンガポール国立大学）は、視覚言語モデル（VLM）が長い一人称視点の動画から「シーン全体の空間地図」を頭の中に組み立てられるかを測る動画VQAベンチマークです。合成動画6,790分ぶんから作った人手検証済みの2,762問で22の最新VLMを評価したところ、最強のモデルでも42.68点と、人間の79.08点に遠く及ばないことを示しました（Abstract）。

比喩: 内見動画だけ見せられた新居

引っ越し先の家を、不動産屋が撮った「玄関から入って各部屋を歩き回る動画」だけで下見したとします。動画を見終わったあなたに、誰かがこう聞きます。「いまあなたはキッチンの隅に立っています（動画には映っていなかった立ち位置です）。ここから寝室のクローゼットは、どの方角に何メートル？」

答えるには、動画の各フレームを覚えているだけでは足りません。フレームごとのバラバラな眺めを1枚の間取り図に統合し、その上に自分の現在地を置き、映っていない目標物との位置関係を推論する必要があります。人間はこれを日常的にやっています。論文は、この能力（グローバルな空間認識）が既存ベンチマークの穴だと指摘します。従来の空間ベンチマークは1〜数枚の画像から「AとBどちらが手前か」を当てるような局所的な知覚が中心で、動画ベースのものも「1フレーム見れば解ける問題」が混ざり、方向も前後左右のような粗い分類で採点されていました（§1, §2）。

三つの問いと12タスク

GST-Benchは、身体を持つエージェントがシーンを大域的に把握するときの根源的な三つの問いでタスクを整理します（§3.2）。

自己位置推定（Where am I?）: 動画に映っていない新しい視点画像を見て、トップダウン地図上での自分の位置と向きを当てる（2タスク）
物体位置推定（Where is the target?）: いまの視界に映っていない目標物について、自分から見た方向・距離・地図上の位置を当てる。目標の指定はカテゴリ名（semantic）と、動画中に赤枠で示す方式（visual）の2通り（6タスク）
シーン構造理解（What does the scene look like?）: 探索動画に合うトップダウン画像を4択から選ぶ（写実/占有マップ/壁だけの間取り図の3難度）、短い移動クリップに合う軌跡を地図上の4候補から選ぶ（4タスク）

方向の答えは「左のほう」ではなく角度の数値で、距離はメートルで要求されます。「予測した方向」と「正解の方向」は2本の矢印として比べられ、そのなす角が小さいほど高得点です。この「方向を矢印のなす角で測る」感覚は、下の図で2本のベクトルを回してみると掴めます。

FIG 1「予測した方向」と「正解の方向」を2本のベクトルと見立てて回してみる。なす角が小さいほど（余弦が1に近いほど）予測は正解に近い。GST-Benchの方向タスクはこの角度ズレを数値で採点する

ズルを封じる4つの設計

このベンチマークの読みどころは、モデルが近道で正解できないようにする設計です（§1, §3.3）。

目標物は現在視点から必ず見えない。1フレームの知覚だけでは原理的に解けず、動画からの記憶の統合が必須になる
粗い分類ではなく数値で採点。「AとBどちらが近い？」ではなく距離と角度そのものを答えさせ、曖昧さを排除する
トップダウン画像で「大域と局所の対応付け」を直接測る。一人称の観察を俯瞰図に写像できるかを問う
質問視点は動画のカメラ軌跡の外からサンプリング。動画のフレームと照合するだけの解き方を封じる

データはOmniGibsonシミュレータとBEHAVIOR-1Kの50の屋内シーンから自動生成されます。シミュレーションなのでカメラと物体の3D座標が全部わかっており、距離・角度・俯瞰図への投影から正解を機械的に計算できます。そのうえで全評価サンプルを人手で検証し、「目標物が動画内で識別できるか」「軌跡外の視点でも人間が場所を特定できるか」を確認して2,762問に絞り込みました（§3.3）。トップダウン表現でシーンを扱う発想は自動運転のBEV表現とも通じます——BEV表現の解説も併せてどうぞ。

採点のしかた

質問形式は距離予測・角度予測・点予測・多肢選択の4種で、それぞれに専用の指標を使います（§4.1）。距離は VSI-Bench 由来の Mean Relative Accuracy（相対誤差が閾値 0.50〜0.95 の各水準を下回るかを平均）、角度は円環上の誤差で測ります。

e_{a}=\min\left(|\hat{\alpha}-\alpha|,\;360^{\circ}-|\hat{\alpha}-\alpha|\right)

(1)

つまりこの式は「モデルが答えた向きと本当の向きとの開きを、右回りと左回りの両方で測って、小さいほうを採用する」と言っているだけです。 $\hat{\alpha}$ が予測角度、 $\alpha$ が正解角度です。式(1)は「350°と10°のズレは340°ではなく20°」という当たり前を保証するための書き方で、時計の文字盤の上で近いほうの回り方を採用しているだけです。この誤差が15°・30°・45°の各許容値に収まるかの平均が得点になります。点予測はピクセル距離を5段階の閾値で、多肢選択は正答率で採点し、総合点は12タスクの単純平均です。

結果: 最強モデルでも人間の54%

22モデル（プロプライエタリ5、オープンソース12、身体性特化5）をゼロショットで評価した結果です（§4.2）。

人間79.08点に対し、最良のGemini-3-Proは42.68点。差は36.4点で、特に向き推定（21.52対85.00）と地図上の物体位置（42.23対93.00）で開きが大きい
オープンソース勢はほぼランダム並み。ランダム推測が20.01点のところ、最良のInternVL3.5-38Bでも30.71点。しかもこの得点は易しめのトップダウン4択に支えられており、残り10タスクはランダムと数点差。4モデルはランダムを下回った
例外は距離推定で、人間自身が41.50点と低く、Gemini-2.5-Proの42.00点がほぼ並ぶ。論文はこれをモデルの強さではなく「絶対距離の復元は人間にも本質的に難しい」ことの表れと解釈する
身体性特化モデルに優位性なし。ロボット向けにチューニングされたRoboBrain2.5-8B（24.61）やCosmos-Reason2-8B（21.64）は、素のQwen3-VL-8B（25.89）を下回る。論文は、現行の身体性向けポストトレーニングが局所的なアフォーダンスや空間関係の予測に偏り、長時間の空間記憶と視点間の対応付けを鍛えていないためと推測する（§4.2）

どこで詰まっているのかを切り分ける

「そもそも空間知覚が弱いのか、統合ができないのか」を切り分けるため、論文は同じ質問のまま難度だけ下げた対照設定を作ります（§4.3）。目標物を現在視点に見えるようにした Local-Video（動画は残るが論理的には不要）と、さらに動画を取り除いた Local-Image（1枚画像の空間知覚に帰着）です。

結果は2種類のボトルネックをあぶり出しました。プロプライエタリ勢は「見えているのに統合できない」型で、Gemini-3-Proの方向タスクはGlobalの22.11点がLocal-Imageで61.20点へとほぼ3倍化します。つまり1枚画像の空間知覚はできており、失敗の正体はフレーム横断の統合です。一方オープンソース勢は知覚と統合の両方が弱い型で、簡単にしたのに悪化するモデルすらあり（InternVL3.5-8Bは方向タスクで−8.03点）、改善しても絶対値が低いままでした（InternVL3.5-2BのLocal-Image 25.40点対Gemini-2.5-Proの66.49点）。

訓練データで27点埋まる

同じ生成パイプラインで作った訓練データ GST-Train（評価シーンとは重複なし）でQwen3-VL-8Bを微調整すると、スコアは25.89点から53.52点へ27.63点向上し、ゼロショットの全モデル——プロプライエタリ含む——を上回りました（§4.4）。大域的な空間推論の欠落は、アーキテクチャの宿命ではなく教師データの空白によるところが大きい、という前向きな示唆です。ただし人間の79.08点にはまだ届かず、論文自身も「狙った教師で改善はするが完全には解けない」と述べています。

限界と読むときの注意

全編がシミュレーション映像です。物理的な正解値を機械計算できる利点の裏返しで、実写・実環境の動画で同じ傾向が出るかは本論文の範囲外です（実写への転移は検証されていません。ここは私の注意喚起であり、論文は主張していません）
人間ベースラインは各タスク20サンプルでの測定です（Table 1）。傾向を見るには十分でも、細かい点差の比較には幅があると読むべきでしょう
シーンは屋内に限られ、GST-Trainで微調整したモデルも同じパイプライン由来のデータで訓練されているため、ベンチマークとの分布の近さが得点を押し上げている可能性は割り引いて読む必要があります（シーン自体は分離済みと論文は明記、§4.4）

現場ではこう使う

このベンチマークが刺さるのは、VLMを「動くもの」に載せる人たちです。

ロボティクス／ドローン／AR系のエンジニアがモデル選定をするとき: 「空間推論に強い」を謳うモデルでも、その根拠が単一画像ベンチマークなら、ナビゲーションや探索タスクの性能は保証されません。実務上は、VSI-BenchやGST-Benchのような動画ベース・大域統合型のスコアを選定基準に足すべきです。本論文の負の結果——身体性特化チューニングが大域推論を改善しない——は「embodied対応」の宣伝文句を鵜呑みにしない根拠になります
評価パイプラインを作る人: 距離のMRA（閾値0.50〜0.95）、角度の許容値15°/30°/45°という採点設計はそのまま流用できます。前後左右の4分類で採点すると、モデルの当てずっぽうと本物の理解が区別できません
訓練データを作る人: OmniGibson＋BEHAVIOR-1Kのように3D座標が取れるシミュレータでQAを機械生成し、人手検証で絞る流れは、空間系に限らず「正解が幾何から計算できる」タスク全般に効く型です
落とし穴: 長時間動画をVLMに入れるとき、フレームの間引き方ひとつで空間記憶の手がかりが消えます。ベンチマーク結果を再現できないときは、モデルより先に自分の前処理（サンプリングレート・解像度）を疑うのが実務上の定石です

エージェントとしてのVLM活用の全体像はLLMエージェント入門、視覚バックボーンの基礎はVision Transformer解説へどうぞ。

まとめ

GST-Benchが示したのは、「フレームは見えているのに、地図が頭にできない」という現行VLMの具体的な欠落です。ズルを封じた設計で欠落を数値化し、切り分け実験で原因を統合段階に特定し、訓練データで27点埋まることまで示した、お手本のようなベンチマーク論文でした。ロボットにVLMを載せる前に、この12タスクの顔ぶれを一度眺めておく価値があります。