2026-08-22·無料·論文·15分で読めます

論文解説 SemComp-Bench — 動画生成に「で、結局できたのか」を突きつける

動画生成の評価を「きれいか」から「指示した結果に到達したか」へ移した SemComp-Bench を、タスク定義・データ構築の4段パイプライン・ANDで束ねる採点式・実測値まで、論文本文に沿って読み解きます。

要点

SemComp-Benchは、動画が指示された結果に到達し、かつ参照画像に意味的に接地していることを成功条件とする。
評価は生成結果だけを対象とし、途中の作業手順の再現も、参照画像との従来型の見た目の一致も要求しない。
OA(結果到達)は4基準をすべて通った動画の割合で、GRは5項目の算術平均で採点する。
SemComp-Coreの60件では、OA最高はHunyuanVideo-1.5-720P-I2Vの37.8%で、40%に届かない。
GR首位のSeedance 2.0はOAで20.0%に留まり、シーン内の安定は全モデル共通のボトルネックで通過率は0.328〜0.739。

#video-generation #benchmark #evaluation #vlm #i2v

対象imageタスクgeneration

SemComp-Bench: Benchmarking Semantic Task Completion in Video Generation

一次資料 — この記事の根拠

論文の発表 2026-08-18→この解説の公開 2026-08-22同月

SemComp-Bench: Benchmarking Semantic Task Completion in Video GenerationKeyu Tu, Zhuowei Chen, Mengqi Huang ほか · 2026-08-18 · v1arXiv:2608.17426論文ページ·PDF

原文の要旨（Abstract）を読む

We introduce Semantic Task Completion Video Generation, an outcome-oriented video generation task. Under this formulation, success requires both achievement of the intended outcome and semantic grounding. Semantic grounding characterizes the correspondence between the reference image and the generated outcome in terms of high-level semantics relevant to the task. Evaluation focuses on the generated outcome and requires neither the presentation of a complete sequence of intermediate task steps nor conventional appearance consistency with the reference image. To support systematic evaluation, we construct SemComp-Data, an evaluation dataset covering six domains. Each instance comprises a reference image, a detailed instruction, a brief instruction, and an outcome-centric video clip. A scalable four-stage curation pipeline converts raw videos into standardized SemComp-Data instances. We further introduce SemComp-Bench, an evaluation protocol that uses a vision-language model (VLM) to answer structured binary questions. SemComp-Bench reports the OA Score and the GR Score for Outcome Achievement and Generation Reliability, respectively. Experiments on representative video generation models show that achieving intended outcomes while maintaining task-relevant semantic grounding in reference images remains challenging.

折られた紙幣は、亀になったのか

机に一枚の紙幣がある。指示は一行、「この紙幣を折って亀にして」。動画生成モデルに投げると、たいていそれらしい映像が返ってきます。指が動き、紙が曲がり、光の当たり方も自然です。ところが最後の一秒を止めて見ると、亀になっていない。あるいは亀にはなっているのに、机の上にあるのは元の紙幣ではなく、どこかから来た別の折り紙です。

この「で、結局できたのか」を正面から測るために作られたのが、今回読む SemComp-Bench です。著者らは、生成された動画が指示された結果に到達しているかと、その結果が参照画像に意味的につながっているかの2つを同時に満たすことを成功条件とし、これを Semantic Task Completion Video Generation（意味的タスク完遂の動画生成）という新しいタスクとして定式化しました (§1)。

論文が挙げる例はまさに紙幣です。紙幣の画像と「この紙幣を折って亀にして」という指示を与えたとき、成功した動画は、参照された紙幣が亀の形の折り紙として目に見える形で提示されていなければならない。途中の折り工程は不要だが、結果が元の紙幣に接地しておらず無関係な亀に差し替わっていたら失敗、というものです (§1)。

既存のベンチマークが何を見てきたかを並べると、この立ち位置がはっきりします。論文の関連研究 (§2.1) によれば、これまでの評価軸は視覚的忠実度・時間的一貫性・プロンプト追従が中心で、そこに被写体の同一性や意図した動き、さらに物理的妥当性や常識との整合を測るものが加わってきました。どれも「動画としての品質」の軸です。指示と参照画像が組で定義する結果に到達したかを、意味的な接地と同時に問う枠組みは無かった、というのが著者らの主張です。

何を測らないかを、先に決めた

このベンチマークの設計で最初に効いているのは、測る項目ではなく測らないと決めた項目のほうです。論文は評価対象を生成された結果だけに絞り、(a) 途中の作業手順が一通り映っていること、(b) 参照画像との従来型の見た目の一致、のどちらも要求しません（Abstract, §1）。

なぜ免除するのか。紙幣を折る作業を丸ごと映すのは、数秒の動画には物理的に入りません。手順の欠落を減点にすると「できているのに落ちる」動画が大量に出ます。見た目の一致も同じで、紙幣が亀になるとは、見た目が変わることそのものです。ピクセルの近さを求めれば、変化しないほど高得点という逆立ちした評価になります。

そこで論文は見た目の一致を semantic grounding（意味的な接地） に置き換えます。タスクに関係する高レベルの意味だけを参照画像と対応させ、関係しない属性は自由に変わってよい、という考え方です (§1)。亀の折り紙は、あの紙幣から折られたものでなければならない。ただし紙の皺や照明が変わるのは構わない、というわけです。

対象になるタスクも具体的です。扱うのは日常の実作業6領域—Food and Cooking（料理）、Beauty and Fashion（美容とファッション）、Crafts and DIY（工作）、Gardening and Pets（園芸とペット）、Sports and Fitness（スポーツ）、Arts and Precision（芸術と精密作業）—で、そこから21の細分カテゴリに分かれます (§3.1)。「材料から一皿ができる」「傷んだ物が修復される」「設計図が実物になる」といった、結果が目で確かめられる変化ばかりが選ばれています。逆に言えば、音声の説明を聞かないと成否が分からない動画は最初から外されています。

「似ている」という一次元の物差しを捨てる

従来型の一致度は、突き詰めると「2本のベクトルがどれだけ同じ方向を向いているか」に帰着します。特徴量に変換して内積や余弦を取り、大きいほど似ている、という一次元の目盛りです。まずこの目盛りを手で回してみてください。

FIG 12本を近づけるほど内積と余弦が上がる。従来型の一致度はこの一次元の目盛りで、「紙幣が亀になる」ような、意味は保ったまま見た目が総取っ替えになる変化を表現できない

回して分かるのは、この目盛りが単調だということです。離れれば下がり、近づけば上がる。ところが「紙幣を折って亀にする」は、意味の対応を保ったまま見た目を大きく動かす操作です。近さを上げても下げても、聞きたい問い—「亀になっているか」「その亀は元の紙幣か」—には答えられません。SemComp-Bench が連続値の類似度をやめ、二値の質問に置き換えたのは、この単調さから抜けるためです。

二値にすると何が得か。論文は、評価器に各回答の視覚的な根拠を添えさせることで判定が焦点化されて解釈可能になり、基準ごとの失敗診断ができるようになると述べています (§1, §4)。手元に残るのが「何点」ではなく「どの条件で落ちたか」になる、ということです。

データはどう作られたか — 4段のパイプライン

土台の SemComp-Data は「参照画像 $r_i$ / 簡潔・詳細2種の指示 $\mathcal{I}_i$ / 結果中心のクリップ $o_i$ 」の三つ組で、すべて Koala-36M の同じ1本の元動画から切り出されます (§3)。参照と結果が同じ現実の作業から来ているため、そのタスクが実現可能であることと、属性が本当に対応していることが構造的に保証されます。

Candidate Filtering — タイトルのキーワードで音声説明に依存する動画を除き、残りをフレームのモザイク（video abstract）に要約。VLM が6ドメイン・21カテゴリに割り当てます (§3.1)。
State Mining — 結果の「区間」ではなく、参照状態と結果状態のタイムスタンプを1点ずつ当てさせます (§3.2)。境界の曖昧さと中間工程のモデル化を避けるためです。その後2枚をラベルなしで見せ「どちらが結果か」と逆に聞き、食い違えば組ごと捨てます。
Video Extension — Panda-70M のショット分割と同一シーン結合で元動画を分け、検証済みタイムスタンプを錨に、最低3秒になるまで整合的な隣接区間を足します。平均長は約4.03秒です (§3.3)。
Instruction Structuring — 簡潔な指示は30語以内、[動詞]+[参照の主対象]+[前置詞]+[結果の主状態] に縛る。並行して4つの alignment type（Object Element / Person Identity / Object Appearance / Scene）を1つ選び、17個の属性語彙で「保持」と「破棄」を決め、詳細な指示はそこに結果の細かい見た目を足して作ります (§3.4)。

2種の指示は同じ参照・同じ目標を指すので、具体度だけを変えた比較ができます。論文は簡潔なほうが実際のユーザーの書き方に近く、難しい設定だとしています (§3.4)。

採点式 — ANDと平均

生成動画から時間順に27フレームを均等サンプルし、その列にVLMが二値質問で答えます (§4)。Outcome Achievement (OA) は4基準—outcome realization（完成状態が見えているか）、semantic grounding（結果が参照と指示に沿ってタスク関連の要素を保持・変更しているか）、grounded entity consistency（鍵となる対象が同定でき続けるか）、global visual continuity（場面や視点の唐突な切り替わりがないか）です (§4.1)。後ろ2つは結果が結果として成立しているかの安全弁で、中間工程の完全さは問いません。

A^{i}=a_{\mathrm{or}}^{i}\,a_{\mathrm{sg}}^{i}\,a_{\mathrm{gec}}^{i}\,a_{\mathrm{gvc}}^{i},\qquad \text{OA}=\frac{1}{N}\sum_{i=1}^{N}A^{i}

(1)

式(1)は一行です。4基準を全部通った動画だけを1と数え、その割合を出す。掛け算なので3つ満点でも1つ落とせば0点です。 $a$ は各基準の合否（1が合格）、 $N$ はサンプル数を表します。

つまり $A^{i}$ は「 $i$ 本目の動画に押す合格印」で、 $a_{\mathrm{or}}$ ＝結果が見えているか、 $a_{\mathrm{sg}}$ ＝その結果が参照画像につながっているか、 $a_{\mathrm{gec}}$ ＝鍵になる対象を見失っていないか、 $a_{\mathrm{gvc}}$ ＝場面が唐突に飛んでいないか、の4枚をすべて掛け合わせたものです。OA はその印が付いた動画が $N$ 本中の何割か、を数えているだけ、ということです。

Generation Reliability (GR) は達成とは独立に動画の信頼性を見ます。物理的妥当性・鮮明さ・破綻のなさ・シーン内の時空間的な安定・文字とUIの健全性の5つで、こちらは算術平均です (§4.2)。1項目落としても0.8点が残ります。同じ二値判定でも、束ね方が違えば別の物差しになるわけです。

G^{i}=\frac{1}{5}\bigl(g_{\mathrm{pp}}^{i}+g_{\mathrm{vc}}^{i}+g_{\mathrm{afr}}^{i}+g_{\mathrm{wsc}}^{i}+g_{\mathrm{ti}}^{i}\bigr),\qquad \text{GR}=\frac{1}{N}\sum_{i=1}^{N}G^{i}

(2)

式(2)は「5項目中どれだけ通ったかを動画ごとに出し、平均する」だけです。

つまり $G^{i}$ は「 $i$ 本目の動画が5項目のうちいくつ通ったか」を5で割った打率で、3つ通れば 0.6 になります。 $g_{\mathrm{pp}}$ が物理的妥当性、 $g_{\mathrm{vc}}$ が鮮明さ、 $g_{\mathrm{afr}}$ が破綻のなさ、 $g_{\mathrm{wsc}}$ がシーン内の安定、 $g_{\mathrm{ti}}$ が文字とUIの健全性にあたります。GR はその打率を全動画にわたって平均した値、ということです。

実験結果 — 最高でも37.8%

約2万本を通して1,273件が残り、各ドメイン10件ずつ層化抽出した60件が SemComp-Core です。審判は Doubao-Seed-1.8、各動画を時刻を変えた3回の独立呼び出しで採点し、報告値はその平均です (§5.1)。

モデル（I2V・詳細指示）	結果到達	意味的接地	同定継続	全体連続性	OA Score
HunyuanVideo-1.5-720P-I2V	0.878	0.706	0.583	0.794	37.8%
Wan2.2-I2V-A14B	0.800	0.528	0.628	0.789	28.3%
Wan2.2-TI2V-5B	0.589	0.400	0.689	0.922	23.3%
SkyReels-V2-I2V-14B-720P	0.733	0.489	0.522	0.772	22.8%
Seedance 2.0	0.839	0.744	0.444	0.594	20.0%
CogVideoX1.5-5B-I2V	0.550	0.389	0.506	0.744	14.4%
Phantom-1.3B	0.539	0.356	0.322	0.511	3.9%

首位は HunyuanVideo-1.5-720P-I2V の 37.8%、次いで Wan2.2-I2V-A14B の 28.3%。どちらも4基準がそろって高いことが効いています (§5.2)。対照的なのが Seedance 2.0 で、結果到達と意味的接地は最上位級なのに同定継続 0.444・全体連続性 0.594 が足を引っ張り 20.0% に落ちます。逆に Wan2.2-TI2V-5B は後ろ2基準が最高で前2基準が弱い。最高でも40%に届きません。

モデル	物理的妥当性	鮮明さ	破綻のなさ	シーン内の安定	文字・UI	GR Score
Seedance 2.0	0.883	0.994	0.994	0.739	0.978	91.8%
Wan2.2-I2V-A14B	0.911	0.972	0.967	0.672	0.928	89.0%
Wan2.2-TI2V-5B	0.794	0.978	0.889	0.722	0.889	85.4%
HunyuanVideo-1.5-720P-I2V	0.800	0.939	0.883	0.472	0.861	79.1%
CogVideoX1.5-5B-I2V	0.944	0.811	0.772	0.583	0.828	78.8%
Phantom-1.3B	0.778	0.972	0.856	0.506	0.728	76.8%
SkyReels-V2-I2V-14B-720P	0.778	0.922	0.739	0.328	0.789	71.1%

GRは Seedance 2.0 の 91.8% が首位、オープンソースでは Wan2.2-I2V-A14B の 89.0% です (§5.3)。目を引くのは順位の入れ替わりで、GR首位の Seedance は OA で大きく劣り、OA首位の HunyuanVideo は GR で下位に沈む。動画としての出来とタスクの達成は別の軸です。加えてシーン内の安定が全モデル共通のボトルネックで、通過率は 0.328〜0.739 に留まります。1枚1枚はもっともらしいのに、シーン内の変化を安定に保てない、という診断です。

モデル系列	I2V・詳細	T2V・詳細	T2V・簡潔
HunyuanVideo-1.5-720P	37.8%	4.4%	1.7%
Wan2.2-A14B	28.3%	4.4%	0.6%
CogVideoX1.5-5B	14.4%	5.0%	0.6%

3系列すべてで I2V が T2V を上回りますが、伸びるのは接地・同定継続・全体連続性で、結果到達だけなら3系列中2系列は T2V が高い。参照画像は「達成」より「接地」に効く (§5.4)。T2V内では詳細指示のほうがOAは高い一方、簡潔指示のほうが後ろ2基準は高く、論文はこれを指示の具体度と生成の難しさのトレードオフとしています。

実務上の読み方をひとつ。もし4基準の合否が互いに独立なら、OA Score は4つの通過率の積になるはずです。筆者が表の値を掛けると Seedance 2.0 は約16.5%（実測20.0%）、HunyuanVideo は約28.7%（実測37.8%）で、どちらも実測が積を上回ります。失敗が同じ動画に偏って重なっている—落ちる動画はまとめて落ちる—ことを示唆する差ですが、報告値は3回平均であり、論文がこの分解を行っているわけではないので、断定はできません。

この論文が確かめていないこと

評価サブセットは60件です (§5.1)。1件が約1.7ポイントなので数ポイント差を順位として読むのは危険で、付録Hの標準偏差も OA Score で最大4.41pp、GRのシーン内の安定で最大15.84pp に達します。
審判は単一のVLMです。効率とコストの釣り合いで選ばれたと説明されていますが (§5.1)、本文に人間の判定との一致率は報告されていません。
学習への有用性は未検証です。SemComp-Data で学習してモデルを改善できるかは確かめられていない、と論文自身が結論で明記しています (§6)。
設計上、参照画像との見た目の一致は測っていません。意図的な選択ですが、外観の再現が要件になる用途にはこのスコアだけでは足りません。

現場ではこう使う

モデル選定: 「デモがきれい」で選ぶと事故ります。GR最高のモデルがOAで大きく劣るのがこの論文の実測です。用途が「見栄えの良い素材」なのか「指示した結果への到達」なのかを先に決め、対応する軸で比べる。後者なら社内タスク20〜60件で自前のミニ SemComp-Core を作り、参照画像と結果クリップは同じ実写素材から切り出す—これが実現可能性の担保になります。

触るパラメータ: 条件付け（結果の接地が要るなら I2V）、指示の具体度（brief / detailed）、シード固定、解像度と尺。論文の設定は 720p・27フレーム抽出・3回評価の平均で、同じ動画を1回しか採点しない運用は再現しません。

落とし穴: ①積で束ねる指標は基準を1つ足すだけで下がるので、条件を追加したら過去値と直接比較できない。②平均で束ねると1項目の壊滅が2割の減点にしか見えない—ボトルネックは基準ごとの通過率で見る。③VLM審判はバージョンで点が動くので、審判名とバージョンを結果と一緒に記録し、比較は同一審判で採り直す。

まとめ

SemComp-Bench は「結果に到達したか」と「参照に意味的に接地しているか」を同時に問う。工程の再現と見た目の一致は意図的に要求しない
OA は4基準のAND、GR は5基準の平均。束ね方の違いが物差しの性格を決める
60件のコアで測った限り最高OAは37.8%。GRとOAの順位は一致せず、シーン内の安定が共通のボトルネック

評価される側のモデルの中身は拡散モデルを1から理解する、審判役のVLMの系譜はVLMの成立と現在、「良い指標とは何か」は過学習と評価設計で扱っています。