論文解説: Qwen-Drive-1.0 — VLMの形を変えずに、3D知覚と運転計画を「外付け」する

事前学習済みVLMの構造を変えず、BEV知覚ヘッドとPlanning Expertを外付けするだけで3D検出・オキュパンシー・地図・軌跡生成を統合。汎用能力をほぼ落とさずNAVSIM PDMS 90.7を出した設計を、論文本文に沿って解説する。

Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving

「運転できる」と「賢いまま」を両立させる

自動運転は、部品ごとに分かれたモジュール型パイプラインから、1つのモデルで全部をやる方式へ移ってきました。その現在形が VLA（Vision-Language-Action） です。画像と言葉を理解する大規模モデルに運転を教えれば、事前学習で得た広い知識が、めったに起きない状況での判断を支えてくれるはず — という期待があります。

読むのは Qwen Team と華中科技大学の論文、原題 "Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving"（arXiv:2609.00111、2026年8月31日公開）です。

要旨を日本語で要約します。Qwen-Drive-1.0 は、事前学習済み視覚言語モデル（VLM）のアーキテクチャをそのまま保ったまま、3D知覚・視覚質問応答（VQA）・動作計画を1つの枠組みに統合したモデルである。外付けの俯瞰図（BEV: bird's-eye-view）知覚ヘッドが3D物体検出・意味的オキュパンシー予測・BEV地図セグメンテーションを同時に行い、共有表現から取り出せる3D情報の「プローブ（探針）」として、また3Dシーン構造への明示的で検査可能なインターフェースとして働く。Planning Expert は共有されたVLM表現を条件に自車の未来軌跡を生成する。段階的な学習レシピが運転データと汎用の視覚言語データを組み合わせ、運転固有の能力を得ながら広い視覚理解と指示追従能力を保つことを助ける。実験は強い3D知覚と運転シーン理解を示しつつ汎用能力をおおむね維持し、開ループ・疑似閉ループ・閉ループの評価で高い競争力を持つ計画性能を示した。

比喩: 通訳に運転免許を取らせる

優秀な同時通訳者に運転も覚えてもらう場面を想像してください。運転学校に3年通わせれば運転はうまくなりますが、その間ずっと通訳から離れていれば語学力は錆びます。かといって座学だけで済ませると、「右に寄って」と言葉では言えても、車体を何センチ寄せるかは分からないままです。この論文は、この2つの失敗を同時に避けるための工夫の集まりだと読むと見通しが良くなります。

言葉だけで教えると、3Dが抜け落ちる

論文の導入（§1）は、「汎用VLMを運転VQAで追加学習する」という主流の方法に2つの限界を指摘します。

1つ目は、テキストの正解が3Dのレイアウト・深度・オキュパンシーを直接には拘束しないこと。事前学習された表現が空間の手がかりを持っていても、言語の教師信号は明示的な3D予測を要求せず、その良し悪しを測ることもできません。流暢にシーンを説明できるのに3D空間では不正確、というモデルが生まれ得ます。

2つ目は破滅的忘却です。運転データをいくら集めても実運用の稀な状況は網羅できないからこそ事前学習の知識が効くのに、過度なドメイン適応がそれを壊します。論文はここに配備側の事情も重ねます。量産車はコックピットと運転系が計算基盤を共有する方向に進んでおり、1つのモデルが対話・指示追従・自由な視覚質問応答と運転の両方を担うことになる。汎用能力を捨てたモデルは、結局コックピット用に別モデルと追加の計算資源を要求してしまう、という指摘です。

仕組み(1): BEV知覚ヘッドという「3Dのプローブ」

土台のVLMは Qwen3.5-4B。ここには手を入れず、BEV知覚ヘッドと Planning Expert を外付けします。

BEV知覚ヘッドは現在時刻の $N_v$ 枚（実験では $N_v \in \{6,8\}$）の周囲カメラ画像とキャリブレーションを受け取り、自車座標系のBEV表現を作ります（§2.1）。特徴は2系統です。VLMに入る前の視覚エンコーダ特徴 $\mathbf{F}^v_i$（低レベルの見え）と、VLMを通り抜けた後の特徴 $\mathbf{F}^m_i$（広いシーン文脈）。3Dへ持ち上げるのは深度ベースの視点変換で、軽量な深度ネットワークが画素ごとに $N_d$ 個の深度ビンの確率分布 $\mathbf{D}_i$ を予測します。深度の教師信号は使いません。

言い換えると式(1)は、「画像の特徴を、カメラから伸びる光線に沿って、予測した深度確率の重みで撒く」操作です。$\Omega(\mathbf{p})$ はそのボクセル $\mathbf{p}$ が写っている視点の集合、$(u_i,v_i)$ は投影先の画像座標、$d_i$ は深度ビン。深度が尖っていれば特徴は1点に集まり、自信がなければ光線上に薄く広がります。

高さを潰した $\bar{\mathbf{V}}$ をクエリの初期値として、クエリベースのBEVトランスフォーマが $\mathbf{F}^m$ の特徴ピラミッドから情報を集めます。得られたBEV特徴 $\mathbf{B}$ を3つの枝が共有し、検出はDETR形式のデコーダ、オキュパンシーは $\mathbf{B}$ を高さ方向に展開して $\mathbf{V}$ と融合した後の浅い3D UNet、地図はUNet型ヘッドが担当します。損失は単純な和 $\mathcal{L}_{\mathrm{perc}}=\mathcal{L}_{\mathrm{det}}+\mathcal{L}_{\mathrm{occ}}+\mathcal{L}_{\mathrm{map}}$ です。BEV表現そのものに馴染みがなければ、BEV表現を1から理解するを先に読むと楽になります。

検証: 事前学習された特徴に、3Dは「入っていない」

この論文でいちばん面白い実験は、性能表の最上位ではなくその少し下にあります（§3.1、Tab. 1）。

VLMと視覚エンコーダを凍結してBEVヘッドだけを収束まで学習した「Head-only」設定は、nuScenes で 35.60 mAP / 34.13 NDS にとどまりました。同じ SigLIP-Qwen 特徴を使う専用検出器 BEVFormerV2* に 6.34 mAP・6.91 RayIoU 及ばないという結果です。論文はここから、視覚言語事前学習の特徴は視覚とテキストの対応づけを支えるが、運転知覚に必要な3D構造を直接には露出していない、と結論します。