論文解説: FreeFlow — 専用部品ゼロの階層Transformerでオプティカルフローを解く
相関ボリュームもワーピングも反復改善も使わず、窓・ずらし窓・低解像度の全体注意を組み合わせただけのTransformerで、Sintel・KITTI-2015・Springの最高水準に届いたFreeFlowを、前提知識ゼロから解説します。
要点
- オプティカルフローは、動画の2枚のフレーム間で各画素がどこへ動いたかを求める問題である。
- 従来法は相関ボリューム、ワーピング、反復改善といった専用部品（帰納バイアス）に頼ってきた。
- FreeFlowは専用部品を使わず、1回の順伝播で終わるエンコーダ・デコーダだけの階層Transformerである。
- 窓注意、ずらし窓注意、解像度を落とした全体注意の3種類を組み合わせる。
- SintelでEPE 0.68/1.48、KITTI-2015でFl-all 3.23、Springで1px 3.192を出した。
FreeFlow: A Bias-free Hierarchical Transformer for Optical Flow Estimation
一次資料 — この記事の根拠
論文の発表 2026-09-10→この解説の公開 2026-09-24同月
FreeFlow: A Bias-free Hierarchical Transformer for Optical Flow EstimationVladislav Bargatin, Alexander Yakovenko, Khaled Abud ほか · 2026-09-10 · v1arXiv:2609.11486論文ページ·PDF·DOI原文の要旨（Abstract）を読む
Optical flow methods typically rely on task-specific inductive biases, such as correlation volumes, feature warping, and iterative refinement, among others, to reach high accuracy. While effective, such biases constrain the model to predefined heuristics, which can limit its expressivity and lead to more complex pipelines and additional computational cost. We present FreeFlow, a hierarchical transformer built without any flow-specific components, using instead a single feed-forward encoder--decoder. FreeFlow combines three attention variants: window attention for local processing, shifted-window attention for cross-window information exchange, and a global attention operating at a reduced resolution. The resulting architecture scales naturally with model capacity, enabling a consistent accuracy gain from small to large variants. Despite the absence of standard inductive biases, FreeFlow achieves state-of-the-art results on major benchmarks, including Sintel (0.68/1.48 EPE on Clean/Final), KITTI-2015 (3.23 Fl-all), and Spring (3.192 1px), while remaining memory efficient at 1080p inference.
この論文は何を言っているのか
今回読むのは "FreeFlow: A Bias-free Hierarchical Transformer for Optical Flow Estimation"（Bargatin, Yakovenko, Abud, Vatolin, 2026年9月, arXiv:2609.11486, ECCV 2026採択）です。
アブストラクトの要旨はこうです。オプティカルフロー（動画の2枚のフレーム間で、各画素がどこへ動いたかを求める問題）の手法は、高い精度を出すために相関ボリューム、特徴のワーピング、反復的な改善といったこの問題専用の仕掛け（帰納バイアス）に頼ってきた。これらは効くが、モデルをあらかじめ決めた手順に縛り、表現力を狭め、パイプラインを複雑にし、計算コストも増やす。著者らはこうした専用部品を一切使わず、1回の順伝播で終わるエンコーダ・デコーダだけで作った階層Transformer「FreeFlow」を提案する。FreeFlowは、局所処理のための窓注意、窓をまたいで情報を交換するずらし窓注意、解像度を落として画像全体を見る全体注意の3種類を組み合わせる。この構造はモデルを大きくするほど素直に精度が上がり、専用部品が無いにもかかわらずSintel（Clean/FinalでEPE 0.68/1.48）、KITTI-2015（Fl-all 3.23）、Spring（1px 3.192）で最高水準の結果を出し、1080pの推論でもメモリ効率がよい。
比喩: 2枚の写真で「間違い探し」をする
オプティカルフローは、ほとんど同じ2枚の写真を並べて「この点はあっちの写真のどこへ行ったか」を全画素について答える作業です。1080pなら約207万画素すべてに「右へ3.2画素、下へ0.5画素」のような矢印を付けます。
人間なら、小さな動きは近所だけを見比べ、画面の端から端へ飛んだボールのような大きな動きは全体をざっと眺めて見当をつけ、細い棒や輪郭は拡大してじっくり見るでしょう。FreeFlowの3種類の注意は、この「近所を見る」「隣の区画ものぞく」「全体を縮小して眺める」に対応しています。
従来法が積み上げてきた「専用部品」
深層学習以前のオプティカルフローは、「明るさは動いても変わらない」「動きはなめらか」という仮定のもとで最適化問題を解いていました（§2.1）。深層学習の初期にFlowNetが「ネットワークに直接流れを回帰させればよい」と示しましたが、その後の高精度手法は古典的な発想を部品として組み込み直していきます（§1）。代表的なのは次のものです。
- 相関ボリューム: 1枚目の各画素と2枚目の候補位置の類似度を総当たりで表にしたもの
- ワーピング: 今の推定で2枚目を1枚目側へ引き寄せ、残りのずれだけを求め直す
- 反復改善: 推定を何度も少しずつ直す（RAFTで広まった方式）
- 凸アップサンプリング: 低解像度の推定を、学習した重みで滑らかに拡大する
論文の表1は主要手法（RAFT、FlowFormer、WAFT、GeoViTなど）がどれを使っているかを並べ、FreeFlowだけが全項目で「使わない」ことを示しています。
一方、検出・セグメンテーション・深度推定では汎用のVision Transformer（ViT入門）が専用パイプラインを置き換えつつあります（§1, §2.2）。著者らの問いは「オプティカルフローでも同じことができるか」です。
全体像: 2枚を別々に読み、突き合わせ、矢印を描く
構成はCroCo/DUSt3R系と同じ骨格です（§3.1）。
- 2枚の画像 をそれぞれ 画素のパッチに切り、トークン列にする
- 同じ重みを共有するエンコーダで、2枚をそれぞれ特徴 に変換する
- デコーダが、自己注意と「 から へ問い合わせる」交差注意を交互に行い、流れのトークン を作る
- 小さな出力ヘッドが を元の解像度の流れの場に戻す
トークン数は画像の縦横をパッチ幅で割った積になります。
言い換えると、「画像を8×8のタイルに敷き詰めたときのタイルの枚数」がトークン数です。1080p（1920×1080）なら 個になります（この計算は筆者によるもの）。
注意の計算量はトークン数の2乗で増えるので、3万個のトークンすべてを互いに見比べるのは重すぎます。下の図で、 を増やしたときに2乗の曲線がどれほど急に立ち上がるかを確かめてください。
コメント
コメントにはログインが必要です