論文解説: OSReward — AIの「採点者」は信用できるか。コンピュータ操作エージェントの報酬を測り直す
PCやスマホを操作するAIエージェントの成否を判定する「VLM審判」は、実は失敗を成功と誤認する甘さバイアスを共有していた——1019本の人手検証済み軌跡でこれを暴き、30〜60倍安い公開報酬モデルOS-Shepherdで埋める論文を、前提知識ゼロから解説する。
OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models
一次資料 — この記事の根拠
論文の発表 2026-07-30→この解説の公開 2026-08-13同月
OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward ModelsQiushi Sun, Kanzhi Cheng, Yian Wang ほか · 2026-07-30 · v2arXiv:2607.28609論文ページ·PDF原文の要旨（Abstract）を読む
Computer-using agents (CUAs) are advancing rapidly across the digital world. A CUA trajectory records the agent's actions, states, and reasoning. Verifying whether it fulfilled the task instruction is central to CUA evaluation, data curation, and reinforcement learning. Neither human-written verifiers nor human annotators can provide such verification at scale, so the field increasingly turns to vision-language models (VLMs) as judges of CUA trajectories. But a fundamental question has long gone unexamined: are these VLM judges reliable enough? To study it systematically, we introduce OSReward, a realistic, high-quality benchmark that evaluates VLM judges on CUA trajectories. The trajectories come from diverse agent backbones executing human-verified instructions across platforms, and are then rigorously labeled with ground-truth verdicts through multi-stage human annotation. Building on it, we derive OSReward-Hard, a challenge set concentrating genuinely hard cases, and OSReward-Multi for fine-grained efficiency and alignment scoring. The most comprehensive evaluation of VLM judges to date finds even state-of-the-art models fall short of an ideal judge, sharing a systematic leniency bias that mislabels failed runs as successes. The few reliable enough to trust are too expensive to run at scale, while affordable open models trail far behind. To close this gap, we construct and release OS-Shepherd-100K, an open corpus of reasoning-annotated trajectory judgments for the CUA community. On it, we train OS-Shepherd (9B and 35B), open reward models that supply low-cost, stable, and reliable reward signals, matching commercial judges at 30-60x lower cost than the frontier. Extensive analyses further inform the design of reliable CUA reward at scale. Our code, benchmark, dataset, and model checkpoints are available at https://os-copilot.github.io/OSReward-Home/.
答案を読まずに「できました」を信じる先生
生徒が「テスト、全問できました」と言ったら、答案を見ずに満点をつける先生を想像してください。ほとんどの生徒は正直ですが、たまに「できたつもり」の生徒がいる。答案（現物）を確かめない採点は、その思い込みをそのまま成績にしてしまいます。
本稿で扱う論文 OSReward（香港大学・南京大学ほか、arXiv:2607.28609）が指摘するのは、まさにこの構図がAI開発の現場で起きている、ということです。採点される側はコンピュータ操作エージェント（CUA: Computer-Using Agent）——人間の代わりにブラウザやデスクトップ、スマホを操作してタスクをこなすAIです。そして採点する側もまたAI、画像とテキストを読める視覚言語モデル（VLM）です。論文は、この「AIがAIを採点する」仕組みの信頼性を初めて体系的に測り、採点者たちが揃って「失敗を成功と誤認する」癖を持つことを示しました（§4.3）。
前提ゼロから: 軌跡と報酬信号とは何か
CUAは「経費精算の画面を開いて、先月分を提出して」のような指示を受け、画面を見てクリックや入力を繰り返します。この実行記録——各ステップのスクリーンショット（状態）、エージェントの思考、実行した操作——を並べたものを軌跡（trajectory）と呼びます（§1）。
軌跡が「本当に指示を達成したか」の判定は、CUA開発のあらゆる場面で必要になります。性能評価はもちろん、学習データの選別（良い軌跡だけ集める）、そして強化学習。強化学習では判定結果がそのまま報酬信号——「その行動を強化するか否か」の教師——になるので、判定を間違えると間違った行動を強化してしまう（§6.2）。判定器のことを報酬モデル（reward model）とも呼びます。
問題は規模です。人間が書いた検証プログラムは決められたタスクにしか使えず、環境が残っていない過去の軌跡には適用できない。人手アノテーションは量が追いつかない。そこで実務ではVLMに軌跡を読ませて成否を判定させる VLM-as-a-Judge（VLM審判） が事実上の標準になりました（§1）。ところがこの審判自体の信頼性は、ほぼ検証されないまま使われてきた。論文の予備調査では、最良のVLM審判でさえ、既存ベンチマーク付属の検証器とデスクトップの判定の約4分の1で食い違うことが分かっています（§1）。
審判を測るためのベンチマークを、ゼロから作る
審判を測るには「正解の判定」が付いた軌跡集が要ります。既存ベンチマークの軌跡を再利用すると、軌跡自体の品質問題や検証器のノイズが混ざり、誤りが審判のせいか素材のせいか切り分けられません（§3）。そこで著者らは収集基盤ごと自作しました。
- 環境（§3.1）: Web（実サイト）、Windows、Ubuntu、Android の4プラットフォーム。デスクトップには実ユーザー並みのアプリ約20〜30本を入れ、ユーザープロファイル・編集対象の実ファイル・紛らわしい囮コンテンツまで初期化する。「完了を語るだけでなく環境を実際に変えないと成功にならない」状態を作るためです。
- 指示文（§3.2）: アノテータが環境を実際に触ってから作文し、作者以外による相互チェックで曖昧・実行不能なものを除去。約1500候補から約800本が生き残ります。
- 正解ラベル（§3.3）: 各軌跡を3人が独立に判定し、割れたものは上級レビュア2人の合議（メタレビュー）へ。ここまでで約800人時。判定基準は意図的に厳しく、エージェントが環境から確かめていない答えは、偶然正しくても失敗と数えます。
こうして1019本の人手検証済み軌跡（成功43%／失敗57%、最長100ステップ）が完成しました（§3.4）。さらに2つの派生セットを切り出します。アノテータ自身の判定が割れた難物を再検証して集めたOSReward-Hard（284本、成功30%／失敗70%）と、成功軌跡440本に「意図への忠実さ（alignment）」「無駄のなさ（efficiency）」の細粒度ラベルを重ねたOSReward-Multiです（§3.4）。
コメント
コメントにはログインが必要です