論文解説: VDiff-Bench — 最強のMLLMでも「間違い探し」の低レベル変化を見落とす

「2枚の画像で何が変わったか」を4択で問うVDiff-Benchを論文本文から解説。1,756問・10カテゴリの作り方、11モデルの結果、ノイズやテクスチャの変化を『差なし』と答えてしまう失敗の構造、画像編集の自動評価に使うときの落とし穴まで。

VDiff-Bench: A Challenging Benchmark for Fine-Grained Image Difference Identification

一文でいうと

マルチモーダルLLM（MLLM）は1枚の画像への質問には強いのに、2枚の似た画像を並べて「何が変わったか」を当てるのは意外なほど苦手です。UCLAのYixin Wan・Tianle Zheng・Kai-Wei Changによる論文 "VDiff-Bench: A Challenging Benchmark for Fine-Grained Image Difference Identification"（arXiv:2609.06245）は、この能力を測る4択ベンチマークを作り、11の最新モデルを試して、「意味の変化は当てられるのに、ノイズやテクスチャのような低レベルな変化はほとんど見えていない」モデルが少なくないことを示しました。

abstractを要約するとこうです。VDiff-Benchは1,756問の4択からなり、位置・動き・局所色・全体色・出現/消失・ノイズ/解像度・テクスチャ・置換/サイズ・OCR/文字・照明の10カテゴリを扱う。各問題は画像2枚と4つの選択肢（本当の差分、正解に寄せて作った偽の差分2つ、「差はない」）で構成される。11のオープン/クローズドMLLMで実験すると細かい視覚比較はなお脆く、7〜8B級のオープンモデル3つは意味的変化で52.5〜70.6%を取る一方、低レベル変化では8.7〜33.3%にとどまり「差はない」と誤答する。さらにGrok 4.3は、他の商用モデルが強いにもかかわらずノイズとテクスチャで大きく落ち込み、Kimi K2.5/K3のような大型オープンモデルに大きく劣った——という主張です。

比喩: 子どもの間違い探しをAIにやらせる

絵本の巻末にある「上下の絵で違うところを探そう」というあの遊びです。論文はまさにこれをMLLMに解かせています（§1では「子どもの遊び絵本によくあるタスク」と表現）。そして、あれほど賢く見えるモデルが、写真全体にうっすら砂嵐のようなノイズが乗ったとか、肌の質感がのっぺり滑らかになったといった変化を前にすると、「2枚は同じです」と言い切ってしまう。

論文はこの能力をIDI（Image Difference Identification）と名づけ、①2つの視点を横断する比較知覚、②小さく局所的な、あるいは低レベルな差への感度、③存在しない変化を幻覚しない自制、の3つが要ると整理しています（§1）。

なぜ新しいベンチマークが要ったのか

「2枚の画像の差を説明する」タスクは古くからあり、監視カメラ映像のSpot-the-DiffやCG合成のCLEVR-Changeが知られています。論文は既存ベンチマークの弱点を2つ挙げます（§1, §2.2）。

1. データが簡単すぎる。Gemini 3.5のような最新モデルはCGシーンの全差分を言い当てるどころか、正解データに載っていなかったカメラ角度の変化まで拾ってしまう。
2. 採点が信用できない。自由文で書かせるため、BLEU-4やROUGE-Lのような参照文との一致度（言い換えに弱く、抜け・逆・でっち上げを区別できない）か、MLLM審判（偏りや頑健性の問題が多数報告されている）に頼るしかない。

そこで論文は問題を4択の判別問題に作り替え、「本当に起きた変化」を「もっともらしいが起きていない変化」から区別できるかを答え合わせだけで採点します（§3.6）。審判モデルが不要になる代わりに「差分をすべて列挙できたか」という完全性は測らない、と論文自身が明言しています（§2.2）。

これが画像生成で重要な理由も§2.3にあります。画像編集モデルの評価では「頼んだ変更が起きたか」と「頼んでいない変更が起きていないか」の両方を確かめる必要があり、そこにMLLM審判が広く使われている。ところがその審判は細かい編集差分を説明できず、変化を幻覚しがちだと。IDIの精度は編集モデルの評価や報酬モデルの土台になるわけです。

仕組み: 1問の構造と採点式

各問題は順序付きの画像ペア $(I_A, I_B)$ と4つの選択肢からなります（§3.1）。内訳は、根拠のある本当の差分が1つ、偽の差分（ハードネガティブ）が2つ、「2枚は完全に同一」という固定の選択肢が1つ。すべてのペアに少なくとも1つの実際の変化が含まれるので、「差はない」は必ず不正解の引っかけです。モデルはA〜Dのラベルを1つ返し、精度は次の式で測ります。

$N$ は問題数（1,756）、$\hat{y}_i$ はモデルが選んだラベル、$y_i$ は正解ラベル、$\mathbb{1}[\cdot]$ は中身が真なら1・偽なら0を返す指示関数です。つまり「選んだ記号が正解と一致した割合」というごく普通の正答率で、凝った指標をあえて使わず、面倒はすべて問題の作り方に押し込んでいます。

不正解にも2種類あります。「差はない」を選んだら見落とし（missed-change）、偽の差分を選んだら取り違え（competing-change）として記録され（§3.1）、この区別が後半の分析で効いてきます。

10カテゴリと問題数は次の通りです（Table 1）。

論文はこのうち全体色・ノイズ/解像度・テクスチャ・照明を低レベル変化、残り6つを意味的変化と分類しています（§3.5）。1,756問は1,543組の画像ペアから作られ、1ペアに複数の差分があれば複数の問題になります。

低レベル変化がどれくらい「見えにくい」かは、身近な例で体感できます。下の図は非可逆圧縮による劣化ですが、品質を少し下げただけの2枚を並べても、どこが変わったかを言葉にするのは案外難しいはずです。