論文解説: Embodied-Navigator（TAMP-Nav） — VLMに「指を差させる」と、ナビゲーションは速く強くなる

3D座標を出させる代わりにVLMへ2Dピクセルを「指差し」させ、考える場所と憶える場所を絞り、二段のGRPOで揃える。R2R-CEで成功率66.2%、1タスク16.58秒を9万本の軌跡だけで達成した設計を、論文本文に沿って1から解説する。

Embodied-Navigator: Point, Think, Memorize, and Align for Efficient Navigation

「毎歩考えるロボット」は、なぜ遅いのか

「玄関を出て廊下をまっすぐ進み、突き当たりの右の部屋に入って」— この一文だけでロボットを動かす課題をエンボディッド・ナビゲーション（身体を持つエージェントが言語指示に従って移動する課題）と呼びます。画像と文章を同時に扱える大規模視覚言語モデル（VLM）が出てきた以上、これをVLMに任せるのは自然な発想に見えます。ところが論文は、そのまま実機に載せると3つの壁にぶつかると整理しています（§1）。

1つ目は行動の書き方のズレです。既存手法はVLMに「左に30度回れ」のような低レベル行動を出させるか、3次元座標そのものを回帰させます。しかしVLMが事前学習で浴びてきたのは、圧倒的に2次元の画像とテキストの対です。3次元の幾何変換を暗黙に覚えろと要求すると、空間の幻覚（spatial hallucination）が起き、必要な学習データも膨らむ、というのが論文の指摘です。

2つ目は賢さと速さのジレンマです。思考の連鎖（Chain-of-Thought, CoT）を挟めば判断の質は上がりますが、既存モデルは毎ステップ、あるいは決め打ちの間隔で必ず考えます。何の分岐もない直線の廊下でも律儀に考えるので、推論の待ち時間だけが積み上がります。

3つ目は長い道のりの記憶です。過去の観測を全部抱えれば文脈があふれて注意が薄まり（attention dilution）、無差別に間引けば肝心の場面が落ちる。さらに多くの構成には「いつ・どこにいたか」を表す明示的な座標が無いため、エージェントは自分がたどってきた経路をうまく把握できません。

この論文が提案する TAMP-Nav は、この3つに1つずつ対策を当てた枠組みです。本文では Think・Align・Memorize・Point の頭文字から TAMP と名付けられています（タイトルの語順とは並びが違います）。

比喩: 助手席のナビゲーターと、運転手

TAMP-Navの発想は、車の助手席と運転席の分業に似ています。助手席の人（VLM）は、フロントガラス越しに「あの奥の、開いてるドアのあたり」と指を差すだけ。ハンドルを何度切るか、何メートル進むかは運転手（SLAMベースの低レベル制御器）の仕事です。助手席の人は地図の座標系で考える必要がなく、見えている絵の上で目標を指すことに集中できます。

VLMが得意なのはまさにこの「絵の上で場所を指す」ことです。3次元座標を口で言わせるのをやめ、2次元の指差しに落とす — これが第1の柱 Point です。

この分業には、精度とは別の副産物があります。論文は、Pixel-to-3D方式によって1軌跡あたりの平均インタラクション数が9ステップまで縮んだ（既存の主要モデルは約30ステップ）と報告しています（§4.2）。実務的な解釈を添えるなら、「左に30度」を1回の行動とする設計では廊下を進むだけでVLMを何十回も呼ぶのに対し、指差しは1回の呼び出しで見えている先まで進める — VLMの呼び出し回数がそのまま推論コストなので、1歩を大きくできること自体が速度になるわけです。

仕組み1: ピクセルを3Dへ投影する（Point）

ステップ $t$ で、エージェントは4枚の一人称視点画像 $V_t=\{v_{t,1},v_{t,2},v_{t,3},v_{t,4}\}$ を受け取ります。4枚で全周 $360^\circ$ を覆う構成です（§3.1）。VLMはまず「どの向きの絵を見るか」を選び、その画像上の1点 $a_t=(u,v)$ をピクセル座標として出力します。この2次元の点が、深度とカメラの内部パラメータで3次元へ持ち上がります。

記号は3つだけです。$D_{t,i}(u,v)$ は選んだ画像のその画素までの距離（深度マップの値）、$K$ はカメラの内部パラメータ行列（焦点距離や画像中心をまとめた、画素と光線の向きの対応表）、$[u,v,1]^{T}$ は画素位置の同次座標。つまり式(1)は「画素が指す方向へ、深度の分だけ進んだ場所」を求めているだけで、学習も推論も伴わない、ただの幾何です。

得られた $P_t$ は世界座標系へ変換され、低レベルのSLAM制御器へ渡されます。この分離によってVLMは複雑な幾何変換の学習から解放され、視覚と意味の結び付け（visual-semantic grounding）に専念できる、というのが論文の主張です（§3.1）。

# 1ステップ分の制御ループ（擬似コード）
views = camera.capture_360()                        # 4枚の一人称画像
i, (u, v) = vlm.point(views, instruction, memory)   # 見る絵と、指す画素
P_local = depth[i][u, v] * inv(K) @ [u, v, 1]       # 式(1): 画素→3D
slam_controller.goto(T_world_from_cam @ P_local)    # あとは運転手に任せる

実機では深度カメラの値をそのまま使います。シミュレータと違って誤差が乗るわけですが、論文はここで重要な補足をしています。ナビゲーションは閉ループの対話過程なので、1ステップの深度ノイズで生じた幾何のズレは、続く観測がある程度まで補正してくれる、と（§3.1）。深度誤差への頑健性は §4.4 で別途測られています。

「どこで考えるか」は、類似度が決める

第2の柱は Think and Memorize です。まず「考える場所」の選び方から。

前提を1つ。ここで言う「考える」はCoTのトークンを実際に生成することなので、思考は無料ではありません。1回の思考は生成トークン数の分だけ待ち時間になり、しかも生成した思考は文脈に残り続けます。だから問題は「考えるか考えないか」ではなく、限られた思考の予算を軌跡のどこに配るかになります。

学習データ MultiNav-CoT は、VLN-CEから作った9万本の軌跡です。ここに選択的なCoT注釈を付けるのですが、全フレームではなく重要なフレームだけを掘り出します（§2）。重要度スコアは2つの和です。

$S_{sem}$ はそのフレームの見た目が指示文とどれだけ関係しているかをCLIPの類似度で測った値、$S_{vis}$ は場面がどれだけ切り替わったかを前後の視覚特徴の差で測った値。要するに「指示と噛み合う瞬間」と「景色が変わる瞬間」に高い点が付きます。

このCLIP類似度の実体は、画像ベクトルと文ベクトルの向きの近さです。触って感覚を掴んでください。

得点順に選びつつ最小距離 $D_{min}$ 以内の候補は捨てて間引き、逆に間隔が $D_{max}$ を超えたら中間の最高得点フレームを挿して繋ぎ直す。こうして残るキーノードは軌跡の約30%です（§2）。CoT本文は Gemini 2.5 Flash に、「タスク段階の特定」「現在の観測の分析」「今後の行動の推論」の3つに分けて書かせ、最後に融合させています。1回のクエリの負荷を下げて幻覚を減らすためです。