論文解説: 危機映像のAI捏造は見抜けるか — RA-Benchが暴いた検出器の実力
実在の災害・戦争映像の1コマ目から作らせたAI動画1万6千本で、検出器7種・ゼロショットのマルチモーダルモデル10種・専用ファインチューン2種を測ったら、どれも生成元をまたいで汎化しなかった。映像ではなくタイムスタンプを読んでいたモデル、SNS加工で検出率が1.4%まで落ちる話まで、論文本文から解説。
Can We Defend Against AI-Generated Video Attacks on Real-World Crisis Events? A Systematic Evaluation of Detectors, Generators and Social Dissemination
一次資料 — この記事の根拠
論文の発表 2026-08-14→この解説の公開 2026-08-20同月
Can We Defend Against AI-Generated Video Attacks on Real-World Crisis Events? A Systematic Evaluation of DetectorsShuo Liang, Yixing Ma, Pengfei Zhou ほか · 2026-08-14 · v2"arXiv:2608.14391論文ページ·PDFhttps://arxiv.org/abs/2608.14391"Generators and Social Dissemination
原文の要旨(Abstract)を読む
Recent video generators can fabricate realistic depictions of wars, disasters, public emergencies, and other real-world crises, creating substantial risks of misinformation. Existing benchmarks, however, provide limited evidence on detector and generator behavior in such settings, including how detectability varies with generation conditions, how people perceive generated videos, and whether detectors remain reliable during social dissemination. To address this gap, we introduce RA-Bench, a benchmark for AI-generated video detection that uses Real videos as Anchors. RA-Bench contains 17,886 videos, comprising 1,830 real-video anchors across 10 social-risk categories and 16,056 generated clips from four open-source and five closed-source generators. Based on RA-Bench, we organize our evaluation along three dimensions. We first assess detector generalization across seven traditional detectors, ten zero-shot multimodal models under three review settings, and two MLLMs specifically fine-tuned on AI-generated video detection. Across these methods, none of the three detector families generalizes consistently across RA-Bench instances. We then examine how detectability varies with generation quality, conditioning information, and sampling seeds. These analyses show that generation properties affect detector families differently, while source-level detection patterns remain stable across seeds. Finally, we study human authenticity judgments and detector reliability during social dissemination. We find that videos that mislead people are also difficult for current detectors, and that social dissemination makes detection harder. Together, these findings show that current methods struggle to detect realistic AI-generated videos, highlighting the need for detectors robust to evolving video generators.
一文でいうと
RA-Bench(arXiv:2608.14391)は、戦争・災害・公衆衛生といった実在の危機映像を「錨(アンカー)」に据え、そこから作られたAI生成動画を今の検出器が見抜けるかを測るベンチマークです。実写1,830本と生成16,056本の計17,886本を組み、伝統的な検出器7種、ゼロショットのマルチモーダルモデル10種、検出用にファインチューンされたMLLM 2種を評価した結論は身も蓋もありません。どのファミリーも、生成元をまたいで一貫しては汎化しなかった(Abstract)。
比喩: 本物の1コマ目から「続き」を捏造する
いちばんありそうなデマ動画の作り方は、ゼロから戦争を描くことではありません。実際に報道された火災の写真を1枚拾い、その続きを生成することです。1コマ目が本物なら、構図も光も現場の粗さも本物のまま。あとの数秒だけが嘘になります。
RA-Benchはこの手口をそのまま実験装置にしました。実写クリップの先頭フレームと共通の文章プロンプトを9つの生成器に渡し、「続き」を作らせる(§3.5)。生成動画は必ず、対応する実写と同じ事件・同じ画角を持つ双子として存在します。既存ベンチマークが汎用のWeb動画コーパスを種にしているのに対し、RA-Benchは実イベント由来・社会リスク分類・人間を騙せた難問セット・SNS流通シミュレーションの4点を揃えた唯一の設計だと主張します(Table 1)。
RA-Bench はどう作られたか
公開プラットフォームから危機映像675本を集め、10の社会リスク大分類・44の小分類に整理。PySceneDetectでシーン単位に割り、7人が2人ずつ独立に判定、割れたものは4人の裁定者に回して2,426本を採用しました(§3.3)。
後処理には唸る細工が2つ入っています(§3.4)。1つは実写も生成も同じH.264で再エンコードすること。コーデックの違いが「正解のヒント」になるのを潰すためです。もう1つは尺を動的に決めること。生成尺は 秒とし、尺で判別する近道を許しません。この設計が後でとんでもない発見を生みます。最終的な実写は1,830クリップ・平均10.08秒。オープン4種(Wan2.2、Wan2.2-Lightning、LTX、OmniWeaving)とクローズド5種(HappyHorse、Runway、Kling、Seedance2.0、Hailuo)に投げています。
点数の読み方
指標は2つ押さえれば足ります。1つ目はペアAUCです。
は検出器が出す「偽物らしさ」のスコア。つまりAUCとは、生成動画とその元になった実写アンカーを1組取り出したとき、生成側のほうが高い点をもらう確率です。50%はコイン投げ。50%を割るのは「実写のほうを疑っている」という意味になります。
2つ目はBAcc(バランス精度)です。
FakeRは生成を「生成」と当てた割合、RealRは実写を「実写」と当てた割合。要するに単純平均なので、片方に全振りしても50%付近に見えてしまう穴があります。運用で効くのはむしろ T@5%(誤検知5%に固定したときの検出率)と F@95%(検出率95%を出すのに必要な誤検知率)で、論文もこの2つを併記しています。
コメント
コメントにはログインが必要です