2026-08-13·無料·論文·12分で読めます

論文解説: DEFT-RLVR — 自動運転VLMに未来の軌跡を「先に見せる」と推論が捏造される

自動運転VLMのCoT教師データ作成で正解軌跡を先に見せると、教師は理由を後付けし幻覚が29%→50%に倍増する——この「軌跡アンカリングバイアス」を実証し、走行計画を選択問題化(AD-MCQ)して軌跡の開示を決断の後に遅延させる強化学習 DEFT-RLVR (arXiv:2608.01755) を論文本文だけを根拠に解説する。

要点

自動運転VLAの教師データ作りで正解軌跡を先に見せると、軌跡アンカリングバイアスで教師が根拠を捏造する。
正解軌跡ありの条件では、深刻な幻覚の発生率が29.0%から50.0%に上がった。
AD-MCQは軌跡を8192型のコードブックで離散化し、走行計画を6択の選択問題にする。
DEFTはターン1で高レベルの判断を先に決め、ターン2で初めて候補軌跡を開示する。
DEFT-RLVRはAD-MCQ正答率77.9%で、一般視覚12benchの平均も54.81%から56.09%に上がった。

#autonomous-driving #vlm #rlvr #chain-of-thought #reinforcement-learning #vla

対象imageタスクgeneration

Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs

一次資料 — この記事の根拠

論文の発表 2026-08-03→この解説の公開 2026-08-13同月

Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMsZixuan Huang, Yang Zhou, Kaixuan Wang ほか · 2026-08-03 · v2arXiv:2608.01755論文ページ·PDF

原文の要旨（Abstract）を読む

Recent Vision-Language-Action (VLA) models for autonomous driving (AD) increasingly utilize chain-of-thought (CoT) supervision to enhance the reasoning capabilities of their Vision-Language Model (VLM) components, yet existing annotation pipelines commonly expose the teacher model to the logged ground-truth (GT) future trajectory. We empirically show that this induces trajectory anchoring bias: teacher models rationalize the revealed outcome rather than infer a decision from scene evidence, producing less causally faithful CoTs and substantially more severe hallucinations, especially in causally challenging scenes. Removing the GT trajectory eliminates this shortcut, but open-ended trajectory generation entangles high-level decision-making with precise geometric synthesis and low-level dynamics. To make trajectory-level driving decisions verifiable without requiring open-ended trajectory synthesis, we introduce Autonomous-Driving Multiple-Choice Question (AD-MCQ), which casts planning as selection among explicit trajectory candidates. Taking this a step further, we propose Deferred Exposure of Future Trajectories for RLVR (DEFT-RLVR) to transform future trajectories from pre-decision anchors into post-decision verification targets. Experimental results show that DEFT-RLVR improves AD reasoning while preserving or even enhancing general visual capabilities. With VLM-only inference and controllable difficulty through candidate construction, AD-MCQ provides a flexible, scalable, and extensible foundation for future research on verifiable AD reasoning.

答えを先に見せられた先生は、理由を捏造する

運転免許の教官に「この場面で正解は右折です。理由を説明してください」と頼んだとします。教官は実際の判断過程をたどる代わりに、右折を正当化する説明をひねり出すでしょう。極端な場合、存在しない「右折専用標識」まで持ち出すかもしれません。

これは比喩ですが、後半は実際に観測された現象です。今回の論文（arXiv:2608.01755）のFigure 1には、正解軌跡を見せられた教師モデルが、シーンに存在しない「強制右折標識」を発明して説明を組み立てた実例が示されています（§1）。

自動運転向けの VLA（Vision-Language-Action）モデル は、大きな VLM（視覚言語モデル） に高レベルの状況判断をさせ、小さな行動専門モジュールに幾何学的な軌跡予測をさせる分業構成が主流です（§1）。認識から制御までを1本のネットワークで通す従来のE2E運転（End-to-End運転を1から）に、言語による説明可能性を足した形だと思ってください。そのVLMの推論力を鍛えるために、教師モデルに CoT（chain-of-thought、思考の連鎖） の説明文を書かせて教師データにするのが定番ですが、既存のアノテーションパイプラインの多くは、教師に正解（ground truth, GT）の未来軌跡を先に見せてしまう。論文はこれが 軌跡アンカリングバイアス（trajectory anchoring bias） ——認知心理学でいう、先に与えられた情報が後の判断を歪める現象——を引き起こすと主張し、実証します（§1, §2）。

証拠: 幻覚が29%から50%へ倍増する

論文の検証設計は潔癖です（§2, §B.1）。急ブレーキ・停止・急旋回を含む「因果的に難しい」100シーンを選び、同じ教師モデル（Qwen3.5-397B-A17B）、同じ映像12フレーム、バイト単位で同一のシステムプロンプト、温度0で、違いはただ1点——正解の未来軌跡10点分を挿入するかどうか——という対照実験を組みます。

得られた200本のCoTを、どちらの条件かを伏せた2名の人間評価者が「根拠づけ・幻覚の不在・具体性・因果的一貫性」の4軸で採点した結果（§B.2）:

深刻な幻覚の発生率: 軌跡を見せないと29.0%、見せると50.0%（Table 1）
どちらの説明が良いかの一対比較: 軌跡なしの勝率60.5%に対し、軌跡ありは24.0%（Table 1）

つまり、答えを先に渡すことは説明を良くするどころか、シーンに無い証拠をでっち上げてまで結論を正当化する方向にモデルを押し出します。しかも劣化は、確実な推論が最も必要な難しい場面に集中していました（§1）。

素直な対策は「軌跡を見せずに、シーンから判断させる」ですが、今度は別の問題が生じます。自由記述で軌跡（座標列）を生成させると、高レベルの判断と、ミリ単位の幾何学合成・車両力学が一つのタスクに絡まってしまうのです（§1）。言語モデルの得意分野から外れます。

第一の道具: 運転判断を「選択問題」にする — AD-MCQ

そこで論文は、走行計画を多肢選択問題に変換します。AD-MCQ（Autonomous-Driving Multiple-Choice Question） は、各シーンに対して明示的な候補軌跡を複数提示し、「どれを選ぶか」を問う形式です（§3）。選択なら正誤が機械的に検証できます。

候補はどう作るか。走行ログ約49万本の5秒軌跡（0.5秒おき10点の座標列）をK-meansでクラスタリングし、 $K{=}8192$ 個の「軌跡の型」からなるコードブックを作ります。任意の軌跡は、最も近い型に割り当てて離散化します（§3）。

z(\mathbf{P})=\arg\min_{k\in\{1,\ldots,K\}}\sum_{t=1}^{T}\|\mathbf{p}_{t}-\mathbf{c}_{k,t}\|_{2}^{2}

(1)

言い換えると「自分の軌跡 $\mathbf{P}$ の10個の通過点 $\mathbf{p}_t$ と、型 $k$ の通過点 $\mathbf{c}_{k,t}$ のズレを全時刻で合計し、それが最小になる型の番号 $z$ を選ぶ」です。 $K{=}8192$ という規模は、復元誤差（見たことのない軌跡でも平均0.290m）と型の利用率92.0%のバランスから選ばれています（§3, §C.5）。

FIG 1「2つの軌跡がどれだけ似ているか」の直感。ベクトルの向きと長さが近いほど距離は小さい。AD-MCQはこの軌跡間距離から類似度ρを定義し、正解に程よく似た「ひっかけ選択肢」を制御して出題難易度を調整する(§3)

各問題では、正解の型1つに、型同士の類似度 $\rho$ が一定範囲にある「ハードネガティブ（正解に似た不正解）」などを混ぜて6択を構成します。ブレーキのタイミング、速度プロファイル、横方向の形状といった軌跡レベルの違いが選択肢に保存されるため、「左折/直進」のような粗い行動ラベルより解像度の高い判断を問えます（§3）。

本丸: DEFT — 軌跡は「決めた後」にだけ見せる

ただし、選択肢を最初から見せると、GT軌跡というアンカーが「候補セット」というアンカーに置き換わるだけです。モデルは選択肢の相対比較に頭を使い、シーンからの推論をショートカットします（§1）。

DEFT（Deferred Exposure of Future Trajectories、未来軌跡の遅延開示） は、対話を2ターンに分けてこの近道を断ちます（§4.1）。

ターン1（因果推論）: モデルはシーン映像・自車状態・ナビ指示だけを見て、証拠から運転上の含意をたどり、高レベルの判断（HLD）に先にコミットする
ターン2（軌跡グラウンディング）: そこで初めて6つの候補軌跡を開示。ターン1の判断を拘束条件として、それに最も近い具体的な軌跡を選ばせる

未来の軌跡が「判断の前提」から「判断後の答え合わせの対象」に変わる——これが論文タイトルの意味です。2ターンは分割したまま、GRPO（グループ相対方策最適化）で1本のロールアウトとして結合最適化されます（§4.2）。

報酬設計: 正解しただけでは褒めない

選択の正誤 $R^{\mathrm{MCQ}}$ （正解なら1、不正解なら0）だけを報酬にすると、まぐれ当たりや近道で正解した推論まで強化されてしまいます（§4.3）。そこでDEFT-RLVRは、正解したロールアウトに限って推論過程を採点します。

各問題につき、ルーブリック（採点基準表）をオフラインで1回だけ生成します。VLMがシーンを見て「この場面ならCoTが言及すべき具体的な証拠」を6〜10項目、重み付きで書き出したものです（§4.3）。学習中は、テキストのみを見る採点者モデルがターン1のCoTを基準に照らして二値判定し、重み付き達成率をルーブリック報酬とします。

R_{i,j}=R_{i,j}^{\mathrm{MCQ}}\cdot R_{i,j}^{\mathrm{RUB}},\qquad R_{i,j}^{\mathrm{RUB}}=\frac{\mathbf{w}_{i}^{\top}\mathbf{b}_{i,j}}{\lVert\mathbf{w}_{i}\rVert_{1}}\in[0,1]

(2)

言い換えると「最終報酬は『選択が正解か（0か1）』×『採点基準 $c_{i,k}$ をどれだけ満たしたか（重み $w_{i,k}$ 付きの達成率 $\mathbf{b}$ ）』の掛け算。不正解なら過程がどれだけ立派でも0点」です。重要なのは、GT軌跡はルーブリック生成器・方策・採点者の誰にも渡されないこと（§4.3）。採点者は画像も候補も見ず、テキストの推論だけを評価します。この「オフライン生成＋テキストのみ採点」の設計で、画像込みでオンライン採点する変種より学習ステップが41.1%速く、正誤報酬のみと比べてもコスト増は0.5%に収まります（§5.4, Table 4）。

結果: 推論精度を上げ、一般視覚能力は落とさない

Qwen3-VL-8B-Instructでの主結果（§5.2, Table 2）:

手法	AD-MCQ正答率	因果忠実度CFS	一般視覚12benchの平均
ベース（候補同時提示）	28.1%	–	54.81%
DEFT（学習なし・2ターン化のみ）	56.6%	0.431	–
DEFT-RLVR	77.9%	0.658	56.09%

プロンプトを2ターンに分けるだけで28.1%→56.6%に跳ね、RLVRで77.9%まで伸びます。同じ正誤報酬でも、候補を最初から見せるJEFT+RLVRは61.1%止まりで、開示順序だけで15.3ポイントの差がつきました（§5.4）。Qwen3.5-4Bでも34.0%→82.2%と同じ構図です（Table 2）。

特筆すべきは一般能力の側です。教師の応答を模倣する蒸留（SFT）は正答率84.1%と最強ですが、一般視覚ベンチマーク平均が54.81%→51.80%に低下します。コールドスタートSFTも最初のエポックから一般能力が落ち始めます（§5.3）。一方DEFT-RLVRは54.81%→56.09%とむしろ微増。論文は、RLが自分のサンプルした応答の確率を上下させるだけの細粒度な更新であること、ターン1の因果推論が一般ベンチと共通する視覚空間推論を鍛えることを理由として挙げています（§5.3）。学習ドメイン外のnuScenes 500シーンでも39.6%→49.5%と改善が持ち越されます（Table 3）。

なぜ軌跡を直接生成させないのか

「8192個の軌跡トークンを語彙に足して、直接生成させればいいのでは?」——論文はこの対案を診断実験で潰します（§5.5, §D.6）。10万例でSFTしたところ、訓練損失は下がり続けるのに検証セットの軌跡誤差は8エポック目で底を打って悪化に転じ、最良でも1.963mと、コードブック自体の量子化限界0.279mを大きく上回りました。誤差の主因は量子化ではなくトークン推論です。さらに一般視覚能力は、CoTなしでは12ベンチ平均53.49%→0.67%とほぼ全壊し、CoTを付けても21.50%までの劣化は防げません（§D.6）。

FIG 2訓練誤差は下がり続けるのに未知データの誤差が途中から上がる「過学習」の型。論文の軌跡トークンSFTも検証ADEが8エポック目以降悪化し、語彙への軌跡内在化が筋の悪い道であることを示した(§D.6)

訓練損失だけを見て「学習は順調」と判断すると見落とす典型的な形（過学習と評価設計）が、ここでも出ています。大量の軌跡トークンを語彙の中に内在化させると事前学習の分布が壊れる。だからAD-MCQはコードブックを候補の取り出しにだけ使い、生成を選択に外在化する——これが設計の核心です（§5.5）。

論文の限界と未検証の点

選択精度は走行品質そのものではない: 論文自身、記録された軌跡が唯一の安全解だとは仮定しないと明言しています（§D.1）。実車やクローズドループのシミュレーション評価はなく、下流の連続プランナーを置き換えるものではなく「検証インターフェースに近い」と位置づけられています（§A.2）。
OOD正答率では蒸留に負ける: nuScenesではMixed蒸留55.8% > DEFT-RLVR 49.5%（Table 3）。RLVRの利点はあくまで「一般能力を保ったまま」の改善です。
CoT品質の指標はLLM採点: CFS/HLDはQwen3.5-397B-A17Bによる自動評価です。人間との一致は検証済み（CFSのSpearman相関0.78、HLDのκ=0.84、§E）ですが、人手評価の代理であることに変わりはありません。
量子化のロングテール: コードブックを大きくしても稀な動きの復元誤差は残ります（ADEのp99は最良構成でも1m超、§C.4）。

現場ではこう使う

この論文の教訓は自動運転に限りません。教師モデルにCoTを書かせて教師データを作る全ての現場に刺さります。

データ作成パイプラインの担当者: アノテーション用プロンプトのテンプレートを今すぐ確認してください。正解ラベル・正解コード・模範解答をCoT生成プロンプトに含めていたら、それはこの論文の言う「アンカー」です。solve-then-verify（先に解かせ、後で検証）に組み替え、正解は生成された推論のフィルタリングにだけ使う。
RLVRを回すポストトレーニング担当者: 触るパラメータは論文に明記されています——GRPOのグループサイズ16、KL係数0.001、ロールアウト温度1.0/top-p 0.95、選択肢数 $M$ と類似度帯 $[\rho_{\min},\rho_{\max}]$ が難易度ノブ（§5.1, §D.3, §D.7）。ルーブリック報酬を足すならオフライン生成＋テキストのみ採点にする。オンラインで画像込み採点にすると学習が1.7倍遅くなります（Table 4）。
事故になる落とし穴: (1) タスク特化SFTで汎用VLMの一般能力が初回エポックから壊れ始めることに気づかず、リリース後に「別のタスクができなくなった」と発覚する。一般ベンチの回帰テストを学習曲線と一緒に監視すること。(2) 選択肢を推論より先に見せる評価設計は、モデルの「比較の巧さ」を測ってしまい、シーン理解を測れない。(3) 語彙拡張による行動トークン内在化は、精度と一般能力の両方を失う二重のボトルネックになる（§5.5）。

次に読む

DAPD — 蒸留の教師が持つ「カンニングペーパーの幻想」 — 「教師に答えを見せると壊れる」という同じ病理を、LLM蒸留の文脈で扱う姉妹的な論文
BEV表現 — 自動運転の「神の視点」 — 本論文のVLMが受け取るマルチカメラ入力の下流にある空間表現
インストラクションチューニングとRLHF — RLVRが位置づくポストトレーニング全体の地図