論文解説: ENEAS — 「本物そっくりの偽物」を切り分けるセグメンテーション

「person」と指示したら彫像まで切り出された——見た目は正しく意味が間違うセグメンテーションの失敗を、埋め込みフィルタと条件つきVLM判定のカスケードで直した論文を、前提知識ゼロから解説する。

ENEAS: Embedding-guided Neural Ensemble for Adaptive Segmentation

「人を消して」と頼んだら、彫像まで消えた

教会の内部を3D再構成するために、写真を数百枚撮ったとします。仕上げの前に、写り込んだ来館者だけを消したい。テキストで指示できるモデルに「person」と入れてマスクを作らせると、返ってきたマスクには来館者と一緒に、祭壇に並ぶ等身大の聖人像が含まれていました。像は石です。人ではありません。けれど輪郭も陰影も、人の形として完璧です。

本記事が扱う論文の原題は "ENEAS: Embedding-guided Neural Ensemble for Adaptive Segmentation"（Javier del Pino ほか4名、2026年9月3日 arXiv公開）です。

要旨(abstract)の主張はこうです。テキストで指示できるセグメンテーションは、SAM 3のような最新の基盤モデルでも3つの失敗を残している。対象が視界から出たときに「いない」と報告できない時間的な幻覚、極端な接写で物体全体ではなく局所的なテクスチャを切ってしまう空間的な断片化、そして見た目を存在論的な実体より優先し、彫像・絵画・鏡像のような人工物を対象そのものとして切り出す意味的な誤分類である。ENEASはひとつの手法から2つの働きをする。特定の1インスタンスを正確に追跡して切り出すことと、テキストが名指しした概念のインスタンスをすべて発見して意味検証層で決着させることだ。追跡では、点入力にしか対応していなかったSeCアーキテクチャにテキストプロンプトのアダプタを足し、その時間記憶を活かして、対象が消えても別物に乗り移らず、画面を埋め尽くすほど寄っても丸ごと保つ。発見では、高速な視覚埋め込みの照合と条件つきのVLM精査を組み合わせ、曖昧な候補にだけ意味推論を呼ぶことで、視覚だけのモデルには区別できない誤りを落としながら遅延を低く保つ。単一の誤分類が成果物を壊す3D再構成を念頭に設計されており、コードとモデルは公開されている。

幾何的には正しく、意味的には間違い

論文は、これらの失敗に共通の根があると言います。「強い知覚と、弱い検証」です(§1)。輪郭を引く力は十分に強い。弱いのは、そこに写っているものが本当にその概念に属するのかを確かめる工程のほうだ、という診断です。著者たちの表現では、出力は幾何的には正しく、意味的には間違っている(§1)。彼らはこの問題に、3D再構成のパイプラインを作っている最中に出会いました。SAM 3は絵画を1枚と頼むと複数返し、彫像を人としてマスクした。タスクには使えなかった、とあります(§1)。

この用途では2種類の誤りの代償が非対称です(§4.1)。偽陽性は再構成したい資産そのものを壊し、偽陰性は目に見えるアーティファクトを残すだけ。だから設計は精度(precision)優先になります。再現率を伸ばしたがる検出器の常識とは、出発点が食い違うわけです。

では、なぜ見た目だけでは決着しないのか。テキストと画像を同じベクトル空間に置いて近さで測るのが現代の標準です（CLIPを1から理解する）。ところが「本物の人」と「そっくりの彫像」は、その空間でほとんど同じ場所に座っています。

共通部品: 「どこ」と「何」を分ける

ENEASは自然言語のプロンプト $p$ とフレーム集合 $\{\mathbf{I}_t\}_{t=1}^{N}$ を受け取り、二値マスクを返します(§3)。フレームは動画でも、順序のない写真コレクションでもかまいません。プロンプトが特定の1個を指すときは1フレームにつき1枚のマスクを返し、見えないフレームでは空のマスクを返す。カテゴリを指すときはインスタンスの数だけ返します(§3)。

土台は2つの部品です。プロンプトを画像中の領域に落とすgrounding演算子 $\mathcal{G}(\mathbf{I},p)$（実装はFlorence-2-Large）と、領域をマスクに変えるsegmentation演算子 $\mathcal{S}(\mathbf{I},\mathbf{r})$（実装はSAM 2系）(§3)。つまりENEASは新しい検出器を作った論文ではなく、既存の強い部品のあいだに検証を挟んだ論文です。

モード1: 1個を追いかける

追跡側の土台はSeCです(§3.1)。SAM 2に「対象が何であるか」という概念レベルの記憶を足したもので、視点の激変や、対象が一度出て戻る状況に強い。問題は、SeCが本来点でしか指示できないことでした。ENEASは基準フレーム $\mathbf{I}_{t_0}$ 上で $\mathbf{r}_0=\mathcal{G}(\mathbf{I}_{t_0},p)$ を得るテキスト初期化を足し、以後はすべて伝播で作ります。

式(1)は難しくありません。$t$ 番目のフレームのマスク $\mathbf{M}_t$ は、追跡器 $\mathcal{T}$ が、最初に一度だけ与えられた領域 $\mathbf{r}_0$ と、そこまでのフレームの記憶 $\mathcal{H}_t$ を手がかりに描いたもの、という意味です。毎フレーム検出し直さないので、対象が見えないフレームでは似た何かに乗り移るのではなく $\mathbf{M}_t$ が空になります(§3.1)。

定性評価（Blue Painting）ではこの差がそのまま出ます(§4.4)。Grounded SAM（Grounding DINO + SAM 2.1）は対象が視界から出ると、プロンプトを満たそうとしてカーテンや被写体の髪に陽性を出す。ENEASは同じ場面で「マスクなし」を返します。極端な接写では、Grounded SAMもSAM 3も絵の中の筆致だけを切ってしまうのに対し、ENEASは絵画を1つの塊として保ちます(§4.4)。