論文解説: TurboVLA — LLMを追い出したロボット方策が、RTX 4090・VRAM 1GB未満で32Hzを叩き出す
「画像→LLM→行動」が常識だったVLAから大規模言語モデルを外し、視覚と指示文を軽量クロスアテンションで直結。0.2Bパラメータ・31.2ms・0.9GB VRAMでLIBERO 97.7%を達成した設計を、論文本文に沿って1から解説する。
TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM
一次資料 — この記事の根拠
論文の発表 2026-07-29→この解説の公開 2026-08-13同月
TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAMHengyi Xie, Chenfei Yao, Xianjin Wu ほか · 2026-07-29 · v1arXiv:2607.27205論文ページ·PDF原文の要旨（Abstract）を読む
Vision-language-action (VLA) models commonly adopt an LLM-centric $V \to L \to A$ pathway, where visual observations are projected into the representation space of a large language model before being decoded into robot actions. Although effective, this design incurs substantial computation and memory overhead at every policy invocation. In this work, we introduce TurboVLA, a new VLA paradigm that reformulates the conventional $V \to L \to A$ pathway as a direct $V + L \to A$ mapping. Instead of using a large language model as the central interface between perception and action, TurboVLA independently encodes visual observations and language instructions, directly exchanges information between them through lightweight bidirectional vision-language interaction, and predicts continuous action chunks with a compact decoder. This simple design constructs task-conditioned representations directly from visual and linguistic features, significantly reducing the computational and memory costs of VLA inference. On LIBERO, TurboVLA achieves 97.7% average success with only 0.2B parameters, 31.2 ms inference latency, and 0.9 GB inference VRAM on a consumer-grade RTX 4090, matching or outperforming substantially larger VLA policies. These results establish TurboVLA as a simple and effective alternative to the prevailing LLM-centric VLA paradigm, offering a new perspective on how vision, language, and action can be connected for efficient robotic manipulation. Code is available at https://github.com/H-EmbodVis/TurboVLA.
ロボットの「反射神経」問題
テーブルの上の赤いコップを取ってほしい。人間なら「取って」と言われた瞬間に手が動きます。ところが最近のAIロボットは、この一連の動作のたびに巨大な言語モデルに相談しています。
カメラ画像と「赤いコップを取って」という指示文を受け取り、アームの動き（関節の角度の列）を出力するモデルを VLA（Vision-Language-Action、視覚言語行動）モデルと呼びます。RT-2 や OpenVLA に代表される主流の設計では、画像をいったん大規模言語モデル（LLM）のトークン空間に変換し、指示文と一緒にLLMに通して、その出力から行動を取り出します。論文ではこれを V→L→A 経路と呼んでいます（§1, §3）。
この設計は、LLMが持つ広い意味理解をロボットに持ち込めるという大きな利点がある一方で、制御のたびに数十億パラメータのモデルを丸ごと通すという代償を払います。論文のTable 1によれば、OpenVLA は1回の推論に202.9ms・VRAM 14.9GBを要し、効率化された π0.5 でも93.6ms・12.8GBです（§5.3）。ロボットの制御は連続的なので、推論が遅いほど動きはカクつき、大きなGPUを積めない実機には載せられません。
比喩で言えば、従来のVLAは「コップを取れ」という一言を、毎フレーム博士に文章で相談してから手を動かすようなものです。しかし指示の内容は動作の間ずっと同じ。毎回博士を呼ぶ必要は本当にあるのでしょうか。
発想の転換: V→L→A を V+L→A に
この論文（TurboVLA）の出発点は、シンプルな観察です。指示を理解するのに言語は必要だが、実行レベルの制御をLLM中心に組む必要はない（§1）。
「赤いコップを掴む」という指示がすでに何をすべきかを特定しているなら、方策（ポリシー）に必要なのは、自由な文章生成やタスクの自律分解ではありません。必要なのは「指示に照らして、いまの視覚情報をどう行動に結びつけるか」だけです。それなら、指示文はBERTのような軽量テキストエンコーダで読み、画像は視覚エンコーダで読み、両者を軽いクロスアテンションで直接混ぜてしまえばいい — これが論文の言う V+L→A 経路です。
要素技術は目新しいものではなく、物体グラウンディングのGrounding DINOで実績のある双方向の視覚言語相互作用を、行動予測のために転用しています（§1, §3）。結果だけ先に言うと、この引き算の設計で 0.2Bパラメータ・31.2ms・0.9GB VRAM のまま、標準ベンチマークLIBEROで 97.7% の平均成功率を達成し、15倍以上大きいモデルと並ぶか上回ります（§5.3）。毎秒30回以上方策を回せるので、タイトルの「32Hz」になります。
クロスアテンションの土台は「ベクトルの内積＝似ている度合い」です。まずこの感覚を確かめておきましょう。
仕組み①: 3つの軽量エンコーダ（§4.1）
TurboVLAは入力を3系統に分けて、それぞれ専用の小さなエンコーダで処理します。
指示文は軽量テキストエンコーダ（既定はBERT）でトークン列の特徴に変換します。ここでのポイントは、文全体を1本のベクトルに潰す（プーリングする）のではなくトークン列のまま保持すること。「赤い」「コップ」「左の」といった対象物・属性・空間関係の情報を、後段で画像の細かい部分と照合できるように残すためです（§4.1）。
画像はカメラごとに視覚エンコーダ（実装はDINOv3、§5.1）で空間特徴を取り出し、位置埋め込みと「どのカメラか」を示す視点埋め込みを足してから連結します。手首カメラと俯瞰カメラのような複数視点の情報を、区別を保ったまま1つの列にします（§4.1）。
コメント
コメントにはログインが必要です