End-to-End運転を1から — 認識から制御までを1つのネットワークで

カメラ画像からハンドル操作までを1つのニューラルネットで学ぶEnd-to-End自動運転を、前提知識ゼロから解説。モジュール型との思想の違い、模倣学習と分布シフト、「平均を出すと事故る」多峰性問題、そして解釈性と検証がなぜ難しいかまでを一気に追う。

End to End Learning for Self-Driving Cars

工場のラインと、一人の運転手

自動運転ソフトの作り方には、大きく2つの流儀があります。1つはモジュール型。認識（何がどこにあるか）→ 予測（それが次にどう動くか）→ 計画（自分はどの経路を通るか）→ 制御（ハンドルとペダルをどう動かすか）という工程に分け、各工程を別々のチームが作り込み、工程の間は「検出した物体のリスト」「予測軌道」といった決められた書式で受け渡します。自動車工場の生産ラインのように責任範囲がはっきりしていて、どの工程で不良が出たかを検査できるのが強みです。

もう1つが今回の主題、End-to-End（端から端まで）型です。カメラ画像などのセンサ入力を受け取り、ハンドル角や目標軌道を直接出力する1つのニューラルネットに運転の全体を任せます。人間の熟練ドライバーは「前方に歩行者を検出、予測軌道を計算……」と工程を意識しません。見て、状況を丸ごと掴んで、手足が動く。その一体性を機械で再現しようという発想です。

モジュール型の代償 — 境界で情報が死ぬ

分業には代償があります。第一に、工程間の書式を人間が決めてしまうこと。認識チームが「物体は3次元の箱で表す」と決めた瞬間、箱に収まらない情報——歩行者の視線、自転車のふらつき、荷台から落ちそうな荷物——は下流に届かなくなります。後段がどれほど賢くても、捨てられた情報は使えません。

第二に、誤差の連鎖。認識が見落とした物体は予測にも計画にも存在せず、各工程の小さな誤差が下流で増幅されます。第三に、目的関数の不一致。認識チームは検出精度を、予測チームは軌道誤差をそれぞれ最適化しますが、その改善が「運転のうまさ」の改善と一致する保証はありません。検出精度がわずかに上がっても、増えた分が運転と無関係な遠方の駐車車両なら意味は薄いのです。

End-to-Endはこの3つをまとめて解決しようとします。ネット全体が「最終的な運転のよさ」という1つの損失で学習されるので、何を中間表現として残すかはネット自身が決め、勾配（誤差を減らす方向の信号）が出力側から入力側まで一気通貫で流れます。

意外と古い発想

End-to-End運転は最近の流行に見えて、発想自体は古典です。1989年のALVINNは、カメラ画像からステアリング角を出す小さなニューラルネットで実車を走らせました。2016年にはNVIDIAが畳み込みネットワークで同じ枠組みを拡大し（通称PilotNet）、車線検出器を明示的に作らないまま車線維持走行ができることを示しました。研究側ではCVPR 2023最優秀論文のUniADが「工程は残しつつ全体を微分可能につなぎ、計画を最終目標に据える」設計を示し、量産車のソフトでもEnd-to-End型への移行が語られるようになりました。

式で書くと、End-to-End運転の本体は1つの関数です。

$o$ がセンサ観測（カメラ画像列など）、$a$ が行動（ハンドル角と加減速、または数秒先までの目標軌道）、$\pi_\theta$ が学習パラメータ $\theta$ を持つニューラルネットです。つまり「観測を入れると行動が出てくる関数を1個学ぶ」——運転という巨大な問題が、見かけ上この1行に潰れます。問題は、この $\theta$ をどう学ぶかです。

模倣学習 — 人間の運転を教師にする

最も広く使われるのが模倣学習、その中でも行動クローン（behavior cloning）です。仕組みは拍子抜けするほど単純で、人間が運転したときの「そのとき見えていたもの $o$」と「そのとき取った操作 $a^*$」のペアを大量に集め、ネットの出力を人間の操作に近づける教師あり学習をするだけです。

読み下すと「観測 $o$ に対するネットの出力 $\pi_\theta(o)$ と、人間が実際に取った操作 $a^*$ との差を2乗し、集めた全データで平均した量」です。これを勾配降下で小さくします。魅力はデータの安さにあります。走行記録は人間が普通に運転するだけで貯まり、物体の枠を1個ずつ描くようなラベル付け作業が要りません。

ただし「訓練データで誤差が小さい」ことと「見たことのない状況でうまく動く」ことは別物です。この隔たりが、End-to-End運転のほぼすべての難しさの源になります。