論文解説: Alpamayo — 自動運転の推論モデル

NVIDIAの自動運転VLA「Alpamayo-R1」を原論文から読み解く。因果の鎖で推論を構造化するChain of Causationデータセット、flow matchingで99msに収めた軌道デコード、推論と行動のズレをRLで罰する3段階学習まで、1から解説する。

Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail

「見たことのない場面」で事故は起きる

自動運転の主流は、センサー入力から車の動きまでを1つのニューラルネットで直結する end-to-end（E2E）方式に移りつつあります。人間の運転記録を真似させる模倣学習は、モデルとデータを大きくするほど性能が伸びます——ただし、よくある場面では。工事で車線が消えている、停まった車の陰から子どもが出てくる。そんな滅多に起きない「ロングテール」の場面では教師データが薄く、模倣だけのモデルは急に脆くなります。

比喩で言えば、模倣学習のE2Eモデルは「教習ビデオを丸暗記した生徒」です。見た場面では完璧でも、初見の場面で「なぜそうするのか」を考える道具がない。一方ベテランは「あの子はボールを追っている、飛び出すかも」と因果で考えるから初見に対応できます。過学習と同じ「分布の外で崩れる」構図が、安全の懸かった場面で起きるわけです。

NVIDIAが2025年10月に公開した Alpamayo-R1（AR1） は、この「考える力」を実車で間に合う速度で組み込んだ vision-language-action（VLA）モデルです。CES 2026で発表された NVIDIA Alpamayo の中身にあたり、論文中では Alpamayo 1 とも呼ばれます。カメラ映像から「停止した先行車がいるので減速して停止する」という人間に読める推論を生成し、それに整合した走行軌道を出力します。10B版の重みとコードは公開済みです。

全体像: 見る→考える→動くを1本のトークン列に

AR1の骨格は素直です。すべてをトークンとして1本の列に並べ、言語モデルと同じ「次のトークン予測」で扱います。

式(1)の $\boldsymbol{o}_{\text{image}}$ は複数カメラの画像、$\boldsymbol{o}_{\text{egomotion}}$ は自車の動きの履歴、$\mathrm{Reason}$ は言葉による推論、$\boldsymbol{\tau}$ は未来の走行軌道です。つまり式(1)は、「いま見えているもの」「ここまでの自分の動き」「言葉にした判断の理由」「これからの走り方」の4つを、この順に1本の文章として並べただけ、ということです。各要素は自分より左の全部を条件に生成されるので、推論が軌道より先に来るこの並び自体が「考えてから動く」を強制します。土台のVLMは物理世界の常識を学ばせた Cosmos-Reason。ここに専用の工夫を2つ足します。

1つ目は視覚の圧縮。標準的なVLMでは448×280pxの画像1枚が160トークンになり、360度を見る7〜10台のカメラ×複数時刻では数千トークンに膨れて実時間で捌けません。AR1は3枚の直交平面（triplane）に全カメラを集約するトークナイザも使え、台数や解像度によらず1時刻288トークン（7カメラで約3.9分の1）。動画ごと圧縮するFlexなら最大20分の1です。

2つ目は軌道の表現。軌道 $\boldsymbol{\tau}$ は10Hz刻みで6.4秒先まで64点の位置と向きの列ですが、生の座標はセンサーノイズに引きずられます。そこで学ぶのは各時点の加速度 $a_i$ と曲率 $\kappa_i$——アクセルとハンドルに相当する操作量で、座標は単純な車両モデル（unicycle dynamics）の積分で復元します。物理的にあり得ない軌道が出にくくなる設計です。

軌道は文字で書かず「流れ」で描く

面白いのは、軌道の表現を学習時と推論時で使い分けることです。学習時は操作量を量子化し、1本の軌道を128個の離散トークンとして推論の文章と同じ列に並べます。同じトークン空間を共有するから「この推論ならこの軌道」を次トークン予測だけで学べ、RLでも両方に勾配を流せます。