論文解説: SpatialBlock — 積み木の問題1.5万問で、視覚言語モデルの「空間の勘」を鍛える
実写の3D注釈を使わず、合成した積み木問題1万5千問だけで視覚言語モデルの空間推論を伸ばす論文を、データの作り方・2つの学習法・効いた要素と限界まで1から解説。
要点
- SpatialBlock-15kは、3D→2D投影・視点変換・構造の結合を扱う合成問題1万5千問のデータセットである。
- 積み木問題はテスト30問を31人が解いて平均正答率95%だが、GPT-5は43.8、Claude-Sonnet-4.5は46.3、Gemini-2.5-flashは36.4にとどまる。
- 従来の実写の空間QAは物体ごとの位置や深度の注釈に頼り、外部モデルで作られるためコストとノイズが問題になる。
- 色の変化を手がかりに加え、特定の物を目印（アンカー）にして関係を読む推論を促す。
- 学習したモデルは直接回答型でも推論型でもベースラインを大きく上回り、実写の空間タスクにも汎化した。
SpatialBlock: Enhancing Spatial Intelligence in LVLMs via Synthetic Block-Stacking Problem
一次資料 — この記事の根拠
論文の発表 2026-09-07→この解説の公開 2026-09-271か月後
SpatialBlock: Enhancing Spatial Intelligence in LVLMs via Synthetic Block-Stacking ProblemSoohyun Ryu, Sohee Kim, Eunho Yang · 2026-09-07 · v1arXiv:2609.07064論文ページ·PDF原文の要旨（Abstract）を読む
Large Vision-Language Models (LVLMs) have achieved strong performance on diverse visual tasks, yet their ability to reconstruct and reason about the 3D structure of the scene depicted in 2D images -- referred to as spatial intelligence -- remains limited. Existing approaches attempt to address this gap by using real-scene spatial question answering datasets that require dense geometric annotations. However, constructing such labels is costly, time-consuming, and often noisy due to reliance on external perception modules. In this work, we propose a novel paradigm inspired by human cognitive development: learning foundational spatial skills through structured block-manipulation tasks. We introduce SpatialBlock-15k, a synthetic dataset of 15,000 block-stacking problems covering 3D-to-2D projection, viewpoint transformation, and structural combination. The dataset further incorporates controlled color modulation as visual cues to encourage anchor-based reasoning in visually complex conditions. Experiments demonstrate that LVLMs trained on our dataset through either direct answering or reasoning-based prediction significantly outperform baselines and generalize to real-world spatial tasks, despite the dataset's synthetic and compact nature. Code and data are available at https://github.com/rsoohyun/SpatialBlock.
積み木で「空間の勘」は育つか
今回の論文は "SpatialBlock: Enhancing Spatial Intelligence in LVLMs via Synthetic Block-Stacking Problem"（Soohyun Ryu, Sohee Kim, Eunho Yang／KAIST、2026年9月）です。
アブストラクトの要旨です。大規模視覚言語モデル（LVLM）は多くの視覚タスクで強いが、2D画像から場面の3D構造を組み立てて推論する空間知能はまだ弱い。従来は実写シーンの空間QAで補ってきたが、密な幾何注釈が必要で、高く遅く、外部の認識モデルに頼るぶんノイズも乗る。そこで人間の発達にならい、積み木を操作する問題で基礎的な空間スキルを学ばせる。3D→2D投影・視点変換・構造の結合を扱う合成データ SpatialBlock-15k（1万5千問）を作り、色の変化を手がかりに加えて「目印を基準に考える」推論を促す。直接回答型でも推論型でも、学習したモデルはベースラインを大きく上回り、実写の空間タスクにも汎化した、という主張です。
人間には簡単、モデルには難しい
幼児は積み木遊びで空間認知を伸ばす、という発達心理学の知見が出発点です（§1）。ところが最新モデルは、この積み木問題で崩れます。付録の人間評価では、テスト問題30問を31人が解いて平均正答率95%でした（§A.2）。同じテスト（SB-Bench、600問の選択式）で、GPT-5 は43.8、Claude-Sonnet-4.5 は46.3、Gemini-2.5-flash は36.4 にとどまります（表1）。
一方、既存の改善策は3D用モジュールを足すか、実写の空間QAで学習させるかでした。どちらも物体ごとの位置や深度の注釈に頼り、その注釈は深度推定などの外部モデルで作られることが多いため、コストとノイズが問題になる、と論文は指摘します（§2.2）。
3種類の積み木問題
論文は積み木を解く力を、見えない支えまで含めて全体を復元する力、変換後を思い描く力、部品を組み合わせた全体を予測する力の3つに分け、それぞれに問題を対応させます（§3.1）。
| 問題 | 聞いていること |
|---|---|
| Q1: 3D→2D投影 | この立体を指定方向から見た2D図はどれか |
| Q2: 視点変換 | 回転・反転したらどう見えるか |
| Q3: 構造の結合 | 2つの立体をくっつけたらどんな形か |
色を「目印」にする工夫
単色ブロックだけだと純粋な幾何の問題になります。しかし現実の場面では、人間は特定の物を目印（アンカー）にして関係を読む、と論文は述べます（§3.2）。そこで色を機能のある手がかりとして埋め込みます。
- Q1: 奥行きごとに色を変える。輪郭だけでなく前後関係まで色で追えないと正解できない
- Q2: 1つだけ色の違うブロックを置き、変換後にそれがどこへ行くかを問う
- Q3: 結合位置を、2枚の画像にまたがる同色ブロックの重なりで示す
各5千問、計1万5千問です。立体は3×3のマスに1〜4段を積んで作り、段数が読めないほど隠れる配置は除外します。不正解の選択肢は「1か所だけ違う」もっともらしいものにして、近道で当てられないようにしています（§A.1）。
コメント
コメントにはログインが必要です