·★ 会員·論文·13分で読めます

論文解説: LIT — ロボットが「見た目の手がかり」でズルをしないように、視覚の通り道を1本に絞る

ロボット基盤モデルは訓練時の背景や照明といった無関係な手がかりに頼って動きを覚えてしまう。LITは画像なしで「行き先付きの動き」を先に学ばせ、視覚は姿勢を当てる潜在トークン経由でしか渡さない2段階学習で、4種のモデルすべてのLIBERO-Plus成功率を上げた。

要点

  • ショートカット学習とは、問題を理解せず「選択肢が長いものが正解」のような癖で当てる現象である。
  • ロボット基盤モデルは、行動生成で無関係な視覚の手がかりを使うと、視覚分布のずれで汎化を損なう。
  • LITは、Stage 1で画像なしに行動のまとまりを学び、Stage 2で潜在インターフェースを唯一の視覚の入り口にする2段階の学習法である。
  • 4つのアーキテクチャでLIBERO-Plusの全体成功率が3.87〜10.70ポイント改善した。
  • 実機では、未知のカメラ構成・照明・邪魔な物体の下で、3タスク合算の成功率が13.30〜16.70ポイント上がった。
#vla#robotics#generalization#shortcut-learning#flow-matching#paper
対象imageタスクgeneration

Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models

一次資料 — この記事の根拠

論文の発表 2026-09-11→この解説の公開 2026-09-281か月後

Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation ModelsJianman Lin, Shailesh Shailesh, Zhongyi Luo ほか · 2026-09-11 · v1arXiv:2609.12641論文ページ·PDF
原文の要旨（Abstract）を読む

Robot foundation models achieve strong in-distribution performance but often degrade under visual distribution shifts. When learning to generate actions from pretrained visual representations, models may exploit task-irrelevant visual cues that correlate with demonstrated actions within the training distribution. Such vision-action shortcuts can undermine generalization when these correlations change under distribution shifts. Mitigating these shortcuts requires constraining how visual information is used for action generation while preserving task-relevant spatial information. We propose Latent Interface Training (LIT), a framework-agnostic two-stage strategy that first establishes a spatial-goal-conditioned action prior without images, then constrains visual conditioning through a pose-supervised latent interface. Stage 1 trains the action expert to generate action chunks conditioned on language, robot state, and each demonstrated chunk's terminal SE(3) end-effector pose, learning goal-directed action generation independently of visual cues. Stage 2 introduces a latent interface that aggregates visual and semantic representations and serves as the pretrained action expert's only visual conditioning pathway. The interface is supervised to reconstruct the terminal pose previously used to condition Stage 1, encouraging it to retain the goal-relevant spatial information needed for action generation. Across four vision-language-action and world-action architectures (Pi0.5, MolmoAct2, FAST-WAM, and ImageWAM), LIT improves overall LIBERO-Plus success by 3.87-10.70 percentage points while preserving or improving average LIBERO success. Real-world evaluations show 13.30-16.70 percentage-point gains in success aggregated across three tasks under unseen camera configurations, lighting variations, and distractors.

カンニングを覚えたロボット

試験勉強で、問題文を読まずに「選択肢が長いものが正解」という癖を覚えてしまう学生がいます。同じ問題集の中ではよく当たりますが、出題者が変わった瞬間に崩れます。機械学習ではこれをショートカット学習と呼びます。

ロボットにも同じことが起こります。今回解説する論文の原題は "Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models"（Lin, Shailesh, Luo, Duan, 2026年9月）です。

論文の要旨をまとめると次のとおりです。ロボット基盤モデルは訓練データと同じ条件では高い性能を出すが、見た目の分布がずれると性能が落ちやすい。学習済みの視覚表現から行動を生成するよう学習すると、モデルは訓練分布の中でたまたま行動と相関している、タスクに無関係な視覚の手がかりを利用してしまう。この視覚→行動のショートカットは、分布がずれて相関が変わると汎化を損なう。対策には、タスクに必要な空間情報は残しつつ、視覚情報の使われ方を制約する必要がある。そこで著者らはLIT（Latent Interface Training）を提案する。これはモデルの種類を問わない2段階の学習法で、Stage 1では画像を使わずに「言語・ロボットの状態・動作の終点の姿勢」から行動のまとまり（チャンク）を生成する事前知識を学ぶ。Stage 2では視覚と意味の表現を集める潜在インターフェースを置き、それを行動エキスパートへの唯一の視覚の入り口にする。このインターフェースはStage 1で条件に使った終点姿勢を復元するよう教師付けされる。4つのアーキテクチャ（π0.5、MolmoAct2、FAST-WAM、ImageWAM）でLIBERO-Plusの全体成功率が3.87〜10.70ポイント改善し、通常のLIBEROの平均成功率は維持または改善した。実機では、未知のカメラ構成・照明・邪魔な物体の下で、3タスク合算の成功率が13.30〜16.70ポイント上がった。

どこにズルが入り込むのか

最近のロボット基盤モデルは、大きく2つの部品でできています（§III-A）。1つは画像と指示文を読むバックボーン（学習済みの視覚言語モデルや動画モデル）、もう1つは実際の腕の動きを出す行動エキスパートです。前者が画像・言語を扱うモデルを VLA（Vision-Language-Action）、未来の映像予測などを取り込むものを WAM（World-Action Model） と論文は呼んでいます（§I）。

従来の設計では、行動エキスパートはバックボーンの視覚表現を直接見ることができます（§III-A）。ここが抜け穴です。デモ映像の背景がいつも同じ木目のテーブルなら、「木目のこの位置が見えたら右へ動く」という相関で行動を当てられてしまう。論文は、ロボットのデモデータは見た目の多様性が乏しいことが多く、この依存がさらに助長されると指摘しています（§I）。

難しいのは、視覚を捨てるわけにもいかない点です。コップがどこにあるかは画像を見ないと分かりません。論文の問いは「無関係な見た目の変化には鈍感で、行動を変えるべき変化には敏感」という両立をどう作るか、です（§I）。

過学習と同じで、訓練の成績だけ見ていてもショートカットは見抜けません。次の図で、訓練誤差が下がり続けてもテスト誤差が離れていく様子を確かめてください（詳しくは過学習と評価の基本）。

FIG 1訓練誤差だけを下げると、見たことのない条件で崩れる。ショートカット学習はこの「乖離」の一種

LITの比喩: 地図だけで運転を覚え、窓は1枚だけ開ける

LITを運転教習に例えます。

こうすると、運転手は景色の細部で近道をできず、通訳も「座標に関係する情報」を優先して運ぶよう仕向けられます。論文が狙っているのはまさにこの構造です（§III）。

仕組み: 行き先を8つの数で書く

まず「行き先」を定義します。行動エキスパートは一度に HH ステップ分の行動のまとまり（アクションチャンク）At\mathbf{A}_t を出します。そのチャンクを実行し終えた時点のロボットの状態を、そのチャンクのゴールとします（§III-A）。

gt=[pt+H; rt+H; qt+H]∈R8\mathbf{g}_{t}=\left[\mathbf{p}_{t+H};\ \mathbf{r}_{t+H};\ \mathbf{q}_{t+H}\right]\in\mathbb{R}^{8}
(1)

言い換えると、「このまとまりを終えたとき、手先はどこにあって（：3次元の位置）、どちらを向いていて（：軸と角度で表した3次元の向き）、グリッパはどれだけ開いているか（：2つの指の関節位置）」の合計8個の数です。重要なのは、この はデモから自動で取り出せる値で、推論時には不要だという点です（§III-A）。…

この先にあるもの

§

ここから先は会員限定です

解説記事449本・教科書42章・学生モード48単元・論文精読6本が、月額¥490ですべて読み放題になります。新しい解説は1日あたり平均3本ほど増えます。いつでも解約でき、解約後も期間の終わりまで読めます。

会員の方はログインすると続きが表示されます

参考文献

  1. Jianman Lin, Shailesh Shailesh, Zhongyi Luo, Jiafei Duan. (2026-09-11) Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models. arXiv:2609.12641論文ページ·PDF

本記事は上記論文の本文にもとづいて執筆しています。数値・主張は原典を優先してください。

運営: TechAthletes · 編集方針 · 出典の付け方 · 訂正の記録

コメント

コメントにはログインが必要です