論文解説: Qwen-UI-Agent — スマホもPCも操る「実世界基準」のGUIエージェントはこう作られた

AlibabaのMAI-UIチームが公開したGUIエージェント基盤モデルのテクニカルレポートを解説。実機100台超での訓練、GUI+CLIの混成行動空間、100ターン超のオンラインRLで、実機ベンチ92.2%を叩き出した作り方を1から読み解く。

Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents

スマホを操作するAIは、なぜ「路上」で転ぶのか

教習所で満点だった人が、路上に出た途端に立ち往生する——GUIエージェント（画面を見てタップやクリックで操作を代行するAI）の現状はこれに似ています。研究用のシミュレータは教習所です。アプリの状態はいつでもリセットでき、広告も出ない。本物のスマホでは、ポップアップがかぶさり、ログインは期限切れになり、CAPTCHAが行く手を阻みます。

今回読むのは、AlibabaのMAI-UIチームが2026年7月に公開したQwen-UI-Agentのテクニカルレポート。この「教習所と路上のギャップ」を正面から埋めにいった論文です。モバイル・PC・ブラウザ・DeepSearch（API検索）を1つのモデルで扱い、実機ベンチMobileWorld-Realで92.2%を達成、Claude Opus 4.8やGPT-5.6 Sol、Gemini 3.1 Proを上回ったと報告しています（§3.3）。しかも27Bと小さめのモデルです。

設計思想: 6つの「移行」(§1)

論文は冒頭で、次世代GUIエージェントに必要な移行を6つ挙げます。①シミュレータから実機実行へ、②単一ドメインからクロスプラットフォームへ、③GUI操作のみからGUI+CLI混成とバッチ行動へ、④短いタスクから長時間タスクの完了へ、⑤人手だのみの開発からAutoResearch型（エージェント自身が訓練データ作りを回す）へ、⑥指示待ちから能動的なサービス開始へ。以下、これらが「定式化→環境→データ→訓練→検証」の各段にどう埋め込まれているかを見ていきます。

定式化: エージェントの「1歩」を式にする (§2.1)

タスクは指示 $I$ と利用可能な環境集合 $\mathcal{E}_\tau$ の組。各ステップ $t$ の観測は、スクリーンショット・コマンド実行結果・API応答の3チャンネル $o_t = (o_t^{\mathrm{GUI}}, o_t^{\mathrm{CLI}}, o_t^{\mathrm{API}})$ です。「画面という目」と「シェルという手」の両方から情報が入る、と読めばOKです。モデル $\pi_\theta$ の出力は次の形をとります。

つまり、指示・いまの観測・これまでの履歴 $h_t$ を入れると、思考テキスト $r_t$ と行動 $\mathbf{a}_t$ が出てくるという意味です。ポイントは $\mathbf{a}_t = (a_t^{(1)}, \ldots, a_t^{(K_t)})$ と定義され、1回の推論で複数行動をまとめて出せる（バッチ行動）こと。途中の画面確認が不要な定型の連続操作を1ターンに圧縮します。

行動にはクリック等のGUI操作のほか、bashを直接叩く cli_command、外部サービスを呼ぶ api_call、決済など危険な操作の前にユーザーへ確認を取る ask_user があります（§2.1.2）。方策とは要するに「行動候補の上の確率分布」で、その尖り方が振る舞いを決めます。下の図で感覚を掴んでください。

疑似コードにすると、エージェントの本体ループはこれだけです。

h = []                                  # 対話履歴
while True:
    o = env.observe()                   # 画面・CLI出力・API応答
    r, actions = model(I, o, h)         # 思考と行動列を一括生成
    for a in actions:                   # バッチ行動を順に実行
        env.execute(a)                  # click / type / cli_command ...
    h.append((o, r, actions))
    if actions[-1].type == "terminate":
        break

環境が能力の上限を決める (§2.2)

「環境はエージェントの能力の境界を定める」と論文は明言します。サンドボックス側は、モバイル（MobileWorld環境をコンテナ型Androidのredroidで再構築）、PC（OSWorldのUbuntu VMにbash実行を追加）、ブラウザ（Playwright + Chromium）、DeepSearch（Serper検索 + Jina Reader）の4種で、最大1万環境を並列実行できます（§2.2.1）。

実機側が本論文の個性で、物理スマホ100台超・アプリ150本超のランタイムを訓練と評価の両方に使います（§2.2.2）。実機は壊れるので、故障中の端末を割当から外す健全性スケジューラ、1台に複数の仮想ディスプレイを張る並列化（クラスタ全体で処理量約20倍）、CAPTCHAや決済で人に交代するUser Agent、「タスク成功／モデル失敗／環境失敗」をVLM（視覚言語モデル）審判で切り分ける仕組みを揃えました。環境起因の失敗をモデルのせいと誤認すると、訓練も評価も濁るからです。