論文解説: Video-DeepResearch — 動画を「見て、調べ尽くす」次世代マルチモーダル・エージェント

動画から視覚的手がかりを拾い、Web検索で裏取りする「Video-DeepResearch」の論文を解説。既存モデルが視覚ツールを避ける「モダリティバイアス」と、記憶だけで答える「知識リーク」を、段階的ツール解禁とSFT+GRPOの2段階学習でどう克服したかを、一次資料に沿って読み解きます。

Video-DeepResearch: Towards the Next-Generation Multimodal Deepresearch Agent

動画を「調べ尽くす」AIは何が難しいのか

「この動画に映っている人物が、後に受賞した賞の授賞式はどの都市で開かれたか?」— こんな質問に答えるには、2つのまったく違う能力が要ります。まず動画を注意深く見て「誰が・何が映っているか」を突き止める視覚の仕事。次にその人物についてWebを検索し、複数の情報をつなぎ合わせる調査の仕事。刑事にたとえるなら、防犯カメラの映像から容疑者の顔を切り出す鑑識作業と、その顔写真を持って聞き込みに回る捜査作業です。

テキストだけのDeep Researchエージェント、静止画を扱うVision-DeepResearchときて、この論文が挑むのは連続する動画ストリーム — 著者らが Video-DeepResearch (Video-DR) と呼ぶ設定です。動画は静止画と違い、時間とともに変化する密な情報を持ち、「どの瞬間の・どの領域を見るか」から自分で決めなければなりません (§1)。

現状のエージェントが抱える2つの病

著者らはまず、既存モデルをそのままVideo-DRタスクに投入する予備実験を行い、2つの失敗モードを突き止めました (§2 Empirical Study)。

病その1: モダリティバイアス（視覚ツール回避）。論文の計測では、オープンソース最強クラスのQwen3.5-397B-A17Bですら、1タスクあたりの視覚ツール呼び出しは平均0.10回。一方テキスト検索は1.27回で、動画を「見る」代わりにテキスト検索で済ませようとする傾向が数字にはっきり出ています。

病その2: パラメトリック知識リーク。GPT-5は視覚ツール0.00回・テキストツール0.12回とほぼ道具を使わずに、既存ベンチマークで57%という高い正答率を出しました。つまり動画を調べて答えたのではなく、訓練時に覚えた知識だけで当てていたわけです。これはモデルの手柄というよりベンチマークの欠陥で、「ツールを使う能力」を測っているつもりが「記憶力」を測っていたことになります。

この2つの発見が、以降のデータ設計・学習法・ベンチマーク設計すべての出発点になります。

問題を式にする

論文はVideo-DRを逐次的な意思決定として定式化します (§2 Problem Formulation)。質問 $Q$ と動画フレーム列 $V$ が与えられ、エージェントはステップ $i$ ごとに行動 $a_i$ を選びます。

読み下すと「次の一手 $a_i$ は、方策 $\pi_\theta$（エージェントの頭脳であるモデル）が、これまでの履歴 $\mathcal{H}_i$（質問・動画・過去の行動とその結果の観測）を見て確率的に決める」という意味です。行動の選択肢には、情報量の多い瞬間を切り出す Select_Keyframe、フレーム内の対象物を矩形で切り抜いて画像検索にかける Crop_Search、そして通常のテキスト検索が含まれます。

キーフレーム選びの土台になっているのは埋め込みベクトルの類似度です。論文のデータ構築では、CLIPで計算したフレーム間類似度が0.8を超える連続フレームを「冗長」として捨て、1動画あたり最大20フレームに絞ります (付録C)。

30Kのデータエンジン — 「記憶で解ける問題」を捨てる

専用の訓練データが存在しないため、著者らは生の動画からVQA（動画への質問応答）ペアを合成するパイプラインを組みました (§3.1)。手順は3段階です。まず既存データセットとYouTubeから動画を集め、長さのルールで足切りした後、モデル（Qwen3.5-35B-A3B）に内容の複雑さを判定させて単純すぎる動画を捨てます。次にCLIP類似度で候補を出したキーフレームを大型モデルで確定し、フレーム内の物体をバウンディングボックスで切り出して画像検索を実行。検索結果と切り抜きの意味が一致するかを別モデルで検証し、〈フレーム・矩形・物体名・検索要約〉のメタデータを作ります。最後にこのメタデータから、1つの物体に関する事実型の質問と、複数の物体をまたぐ合成型の質問を生成します。