論文解説: 最初の1枚を基準にするのをやめる — Scal3R の複数参照・相対姿勢クエリ

長い動画で3D復元モデルが崩壊する原因を「最初のフレームを基準にした外挿」に特定し、凍結したバックボーンへ約1%の学習トークンを足すだけで直した論文を、前提知識ゼロから解説する。

Scal3R: Learning Efficient Multi-Relative Pose Query for Scalable Online 3D Reconstruction

この記事で読む論文

原題は "Scal3R: Learning Efficient Multi-Relative Pose Query for Scalable Online 3D Reconstruction"。Chin-Yang Lin ら（国立陽明交通大学 / NVIDIA）による ECCV 2026 の論文で、arXiv:2609.04201 として2026年9月3日に公開されました。

要旨はこうです。オンライン3D復元モデルは長い動画で性能が崩れる。原因は、カメラ姿勢を「最初のフレーム」という固定アンカーに対して回帰させる設計にあり、学習時の分布をはるかに超えた外挿を強いられるためである。わずかなずれが積み重なって増幅し、幾何そのものが崩壊する。しかし著者らは、この崩壊の最中もフレームごとの深度は安定したままだと観察した。バックボーンの局所幾何は無傷で、壊れているのは大域姿勢ヘッドだけである。そこで提案される Scal3R は、オンライン復元を「複数の参照フレームに対する相対姿勢の問い合わせ」として定式化し直し、全パラメータの約1%にあたる軽量な学習可能トークンを、完全に凍結したバックボーンへ非対称アテンションで注入する。ループ閉じ込みのオンライン姿勢グラフ最適化が長距離のドリフトを抑える。GPU 1枚・8時間で収束し、KITTI ではオンライン手法のベースラインに比べ平均 ATE を60%以上削減、Virtual KITTI / Sintel / TUM-Dynamic / ScanNet / 7-Scenes でも最高水準に達した、というものです。

比喩: 見えなくなった駅を基準に歩き続ける

問題設定を街歩きに置き換えます。あなたは駅を出発し、カメラを回しながら数キロ歩く。歩きながら「いま自分は駅から見てどの向きに何メートルの地点か」を、目に映る景色だけから毎秒言い当てる。これが従来のオンライン3D復元、つまり CUT3R や STream3R がやっていることです。論文の言葉では、各フレームの姿勢 $P_t$ を最初のフレームを原点とする大域座標系に対して直接回帰します（§3.2）。

10メートルなら簡単です。駅がまだ見えている。ところが3キロ先ではもう見えない。しかも既存の3Dデータセットが扱うシーンの規模は限られているので（§1）、モデルはそもそもその大きさの数値を訓練中に一度も見ていません。訓練分布の外側へ外挿させられている状態です。そのうえ姿勢は逐次的に積み上がるので、1フレームあたり数センチのずれでも数千フレームでは数百メートルになり、点群は伸びねじれて崩壊します。論文はこれを geometric collapse と呼び、KITTI のようなキロメートル規模の走行シーケンスで実際に起きることを示しています（§1, Fig. 1）。

観測: 壊れているのは姿勢ヘッドだけ

ここが論文の出発点で、いちばん面白い部分です。著者らは誤差の相関を調べ、崩壊が局所的だと見つけました。大域位置の誤差は訓練分布の外側で発散していくのに、フレームごとの深度予測は最後まで安定している（§1, Fig. 2b）。壊れているのは、無傷の局所幾何を大域座標へ変換する最後の回帰ヘッドだけだ、というわけです。

切り分けとしては強力です。バックボーンを作り直す必要はなく、姿勢の出口だけ取り替えればよい。しかも局所幾何が信頼できるなら、「駅から見てどこか」ではなく「さっき通った交差点から見てどこか」を尋ねればいい。近くの基準に対する相対的な問いなら、答えは訓練中に何度も見た範囲に収まり、外挿が発生しません。この「絶対をやめて相対にする」という発想自体は視覚オドメトリの文献で知られた知見だと論文も認めており（§2）、Scal3R の貢献は、それを凍結済みの3D基盤モデルの上で追加学習をほぼゼロに近づけて実現した点にあります。

仕組み1: 質問するだけのトークンを足す

Scal3R はバックボーン（CUT3R または STream3R の24層 Transformer）を完全に凍結します。学習するのは新しく足した軽量トークンとその周辺だけで、バックボーン総パラメータ数の約1%にあたります（§3.3）。過去のキーフレームのカメラトークンを溜める姿勢トークンバッファを持ち、共有の基底クエリトークン $\mathbf{q}$ を1つ学習して、$k$ 番目の参照スロットにはそのフレームのカメラトークンを軽量な MLP に通して足し込みます。

$\mathbf{q}$ は「現在フレームと参照フレームの幾何的関係を取り出せ」という指示テンプレート、$\mathbf{c}_{r_k}$ は $k$ 番目の参照フレームのカメラトークン、$\tilde{\mathbf{q}}_k$ はその参照に宛てた具体的な質問です。式(1)は汎用の質問文に宛先を書き込んで個別の質問を作る操作だと読めます。各トークンは独立に問い合わせるので参照本数 $K$ は推論時に自由に変えられ、論文は学習 $K=3$・推論 $K=12$ を既定とし、再学習なしで本数を変えられると明記しています（§3.3, §4.1）。