GLOSSARY

osworld

実際のPC操作でAIを評価するベンチマーク

1本の論文題名に登場

定義

実際のOS上でエージェントを動かして評価するベンチマーク。仮想マシン内の本物のアプリケーションを操作させ、ファイル作成や設定変更といった作業を最後まで完了できたかを実行結果で判定する。選択肢や文字列一致ではなく状態の検証で採点するため、GUI操作エージェントの実力が出やすい。

固有名。GUI操作の評価