論文解説: ToolArtist — 検索するか、描くか、描き直すか。それも自分で決める画像生成エージェント

「1955年のソコトラ島で竜血樹脂を採る人」を正しく描くには、絵の腕前より知識の調達が要る。検索・推論・描画のすべてを1つの方策の行動にした完全エージェント型画像生成 ToolArtist を、SFTの変換トリックと二重報酬RL（RAD-GRPO）、WISE 0.79の結果まで論文本文から解説。

ToolArtist: Tool-Using Unified Multimodal Models for Agentic Image Generation

絵は上手いのに「知らないもの」は描けない

「1889年のロンドン・ホワイトチャペルで働く女性を描いて」。今の画像生成AI（テキストから画像を作るT2Iモデル）は、構図も質感も見事な絵を返してきます。ところが石畳、ガス灯、煤で黒ずんだレンガ——時代考証に関わるディテールは平気で間違えます。論文はこの原因を、必要な知識がプロンプトにもモデルのパラメータにも入っていないことだと整理します（§1）。文化・歴史・地理・特定IPのような「世界知識」が要る生成を、論文はオープンワールド画像生成と呼び、足りない証拠 $\mathcal{Z}$ を世界 $\mathcal{W}$ から自分で取ってくる問題として定式化します（§2.1）。

人間のイラストレーターなら資料を検索してから描きます。ならAIにも検索させればいい——実際そういう研究は既にあり、WISEやWorldGenBenchといったベンチマークがこの能力差を測っています（§1）。今回の論文 ToolArtist の新しさは「検索させる」ことではなく、検索も描画も描き直しも、全部を1つのモデルの「一手」にしたことにあります。

これまでの2つの妥協

論文によれば、既存のエージェント型画像生成は2つの型に分かれます（§1, Figure 2）。

1. 固定パイプライン型: プロンプト理解→検索→証拠集約→画像合成、と手順をあらかじめ決めておく。順番も役割も固定で、モデルが流れを変えられない。
2. プロンプト最適化型: 検索エージェントが証拠を集めてプロンプトを書き直し、それを別の画像生成器に渡す。エージェントの仕事は生成の手前で終わる。

どちらも効果はあるのですが、共通の弱点として「画像を生成する」という行為自体はモデルが自分で選んだ行動ではありません。知識の穴に気づく→道具を選んで使う→最終的な絵を出す、という意思決定の全体を1つの方策（ポリシー）として学習できない、というのが論文の問題意識です（§1）。

発想: 描画を「行動」のひとつに格下げする

ToolArtistの土台は、テキストも画像も同じトークン列として扱う統一マルチモーダルモデル（UMM）の Emu3.5 です（§2.2）。文章の続きを予測するのと同じ仕組みで画像トークンも出せるので、「考える・道具を呼ぶ・描く」を1本の自己回帰系列に混在させられます。

その上で、ReAct流のループとしてエージェントを定義します（§2.3）。各ラウンド $t$ で、方策はそれまでの履歴 $\mathcal{H}_{t-1}$ を見て推論スパン $r_t$ を書き、行動 $a_t$ を選びます。

つまりこの式は「ここまでに起きたことを全部見てから、ひとこと考え、手を1つだけ決める。しかも選べる手は2種類しかない」と言っているだけです。

$\pi_\theta$ がモデル（方策）、$\mathcal{H}_{t-1}$ は「ここまでの指示・推論・検索結果・生成画像」の全履歴です。行動の選択肢は2系統だけ。道具を呼ぶ（テキスト検索 TextSearch か画像検索 ImageSearch にクエリを投げ、返ってきた観測を履歴に足す）か、描く（生成意図をまとめたキャプション $g_t$ に続けて画像トークン列 $v_t$ を自分で出力する）か。重要なのは、描いても対話が終わるとは限らない点です。生成画像も履歴に残るので、モデルは自分の絵を見て「まだ違う」と判断し、追加で検索して描き直せます（§2.3）。検索の回数も順番も、いつ筆を置くかも、固定の台本はありません。

学習対象の区別も明快です。トークン列のうち、モデル自身が出した推論・行動のトークン（$\mathbf{T}$）だけを損失の対象にし、ユーザー指示や検索が返した観測（$\mathbf{O}$)は文脈としては使うが学習目標から外す、というマスク $M_j$ を敷きます（§2.3）。「環境が言ったこと」を真似ても方策は良くならないからです。