論文解説 SemComp-Bench — 動画生成に「で、結局できたのか」を突きつける
動画生成の評価を「きれいか」から「指示した結果に到達したか」へ移した SemComp-Bench を、タスク定義・データ構築の4段パイプライン・ANDで束ねる採点式・実測値まで、論文本文に沿って読み解きます。
SemComp-Bench: Benchmarking Semantic Task Completion in Video Generation
一次資料 — この記事の根拠
論文の発表 2026-08-18→この解説の公開 2026-08-22同月
SemComp-Bench: Benchmarking Semantic Task Completion in Video GenerationKeyu Tu, Zhuowei Chen, Mengqi Huang ほか · 2026-08-18 · v1arXiv:2608.17426論文ページ·PDF原文の要旨（Abstract）を読む
We introduce Semantic Task Completion Video Generation, an outcome-oriented video generation task. Under this formulation, success requires both achievement of the intended outcome and semantic grounding. Semantic grounding characterizes the correspondence between the reference image and the generated outcome in terms of high-level semantics relevant to the task. Evaluation focuses on the generated outcome and requires neither the presentation of a complete sequence of intermediate task steps nor conventional appearance consistency with the reference image. To support systematic evaluation, we construct SemComp-Data, an evaluation dataset covering six domains. Each instance comprises a reference image, a detailed instruction, a brief instruction, and an outcome-centric video clip. A scalable four-stage curation pipeline converts raw videos into standardized SemComp-Data instances. We further introduce SemComp-Bench, an evaluation protocol that uses a vision-language model (VLM) to answer structured binary questions. SemComp-Bench reports the OA Score and the GR Score for Outcome Achievement and Generation Reliability, respectively. Experiments on representative video generation models show that achieving intended outcomes while maintaining task-relevant semantic grounding in reference images remains challenging.
折られた紙幣は、亀になったのか
机に一枚の紙幣がある。指示は一行、「この紙幣を折って亀にして」。動画生成モデルに投げると、たいていそれらしい映像が返ってきます。指が動き、紙が曲がり、光の当たり方も自然です。ところが最後の一秒を止めて見ると、亀になっていない。あるいは亀にはなっているのに、机の上にあるのは元の紙幣ではなく、どこかから来た別の折り紙です。
この「で、結局できたのか」を正面から測るために作られたのが、今回読む SemComp-Bench です。著者らは、生成された動画が指示された結果に到達しているかと、その結果が参照画像に意味的につながっているかの2つを同時に満たすことを成功条件とし、これを Semantic Task Completion Video Generation（意味的タスク完遂の動画生成）という新しいタスクとして定式化しました (§1)。
論文が挙げる例はまさに紙幣です。紙幣の画像と「この紙幣を折って亀にして」という指示を与えたとき、成功した動画は、参照された紙幣が亀の形の折り紙として目に見える形で提示されていなければならない。途中の折り工程は不要だが、結果が元の紙幣に接地しておらず無関係な亀に差し替わっていたら失敗、というものです (§1)。
既存のベンチマークが何を見てきたかを並べると、この立ち位置がはっきりします。論文の関連研究 (§2.1) によれば、これまでの評価軸は視覚的忠実度・時間的一貫性・プロンプト追従が中心で、そこに被写体の同一性や意図した動き、さらに物理的妥当性や常識との整合を測るものが加わってきました。どれも「動画としての品質」の軸です。指示と参照画像が組で定義する結果に到達したかを、意味的な接地と同時に問う枠組みは無かった、というのが著者らの主張です。
何を測らないかを、先に決めた
このベンチマークの設計で最初に効いているのは、測る項目ではなく測らないと決めた項目のほうです。論文は評価対象を生成された結果だけに絞り、(a) 途中の作業手順が一通り映っていること、(b) 参照画像との従来型の見た目の一致、のどちらも要求しません（Abstract, §1）。
なぜ免除するのか。紙幣を折る作業を丸ごと映すのは、数秒の動画には物理的に入りません。手順の欠落を減点にすると「できているのに落ちる」動画が大量に出ます。見た目の一致も同じで、紙幣が亀になるとは、見た目が変わることそのものです。ピクセルの近さを求めれば、変化しないほど高得点という逆立ちした評価になります。
そこで論文は見た目の一致を semantic grounding（意味的な接地） に置き換えます。タスクに関係する高レベルの意味だけを参照画像と対応させ、関係しない属性は自由に変わってよい、という考え方です (§1)。亀の折り紙は、あの紙幣から折られたものでなければならない。ただし紙の皺や照明が変わるのは構わない、というわけです。
対象になるタスクも具体的です。扱うのは日常の実作業6領域—Food and Cooking（料理）、Beauty and Fashion（美容とファッション）、Crafts and DIY（工作）、Gardening and Pets（園芸とペット）、Sports and Fitness（スポーツ）、Arts and Precision（芸術と精密作業）—で、そこから21の細分カテゴリに分かれます (§3.1)。「材料から一皿ができる」「傷んだ物が修復される」「設計図が実物になる」といった、結果が目で確かめられる変化ばかりが選ばれています。逆に言えば、音声の説明を聞かないと成否が分からない動画は最初から外されています。
「似ている」という一次元の物差しを捨てる
従来型の一致度は、突き詰めると「2本のベクトルがどれだけ同じ方向を向いているか」に帰着します。特徴量に変換して内積や余弦を取り、大きいほど似ている、という一次元の目盛りです。まずこの目盛りを手で回してみてください。
回して分かるのは、この目盛りが単調だということです。離れれば下がり、近づけば上がる。ところが「紙幣を折って亀にする」は、意味の対応を保ったまま見た目を大きく動かす操作です。近さを上げても下げても、聞きたい問い—「亀になっているか」「その亀は元の紙幣か」—には答えられません。SemComp-Bench が連続値の類似度をやめ、二値の質問に置き換えたのは、この単調さから抜けるためです。
二値にすると何が得か。論文は、評価器に各回答の視覚的な根拠を添えさせることで判定が焦点化されて解釈可能になり、基準ごとの失敗診断ができるようになると述べています (§1, §4)。手元に残るのが「何点」ではなく「どの条件で落ちたか」になる、ということです。
データはどう作られたか — 4段のパイプライン
土台の SemComp-Data は「参照画像 / 簡潔・詳細2種の指示 / 結果中心のクリップ 」の三つ組で、すべて Koala-36M の同じ1本の元動画から切り出されます (§3)。参照と結果が同じ現実の作業から来ているため、そのタスクが実現可能であることと、属性が本当に対応していることが構造的に保証されます。
コメント
コメントにはログインが必要です