論文解説: Agentic Artifact Creation — 「生成」と「納品物を組み立てる」はどう違うのか

259件の文献を「納品される成果物」という一点から整理したサーベイ。状態・編集・検証という3つの役でエージェント的創出を定義し、6ファミリー・評価の3対象・4原則・6つの未解決問題まで、前提知識ゼロから読み解きます。

Agentic Artifact Creation: Systems, Evaluation, Principles, and Opportunities

「下書き」と「納品物」のあいだにある崖

プロンプトを1行書けば、画像も文章もコードも出てきます。それでも実務で「AIに任せきり」が難しいのはなぜか。論文はその境目をはっきり言葉にします。生成モデルが安くしたのは「部品」であって「納品物」ではない（§1.1）。

論文が挙げる例が、論文からポスターを作る Paper2Poster です。ポスターは、元論文の内容を保ち、決められた1ページに収まり、読んで伝わる — この3つを同時に満たさないと受け取ってもらえません。しかも3つは互いに干渉します。文字を足せば収まらなくなり、削れば内容が落ちる。「もっともらしい画像」や1個の品質スコアは、納品してよい根拠にならないのです（§1.1）。

さらに厄介なのは、失敗が見えるタイミングです。動画なら組み上げるまで、ゲームなら遊んでみるまで分かりません。見えたときには原因の場所が特定できず、結局まるごと作り直すことになる。論文はこれを「失敗の伝播・弱い局所化・広範な再生成」と呼びます（Figure 1）。

論文の定義: 「エージェント的成果物創出」とは何か

定義は驚くほど禁欲的です（§3.1）。あるエピソードがこれに当たるのは、次の3つがすべて成り立つときだけです。

1. AIシステムが納品物そのものを実際に作る／直す（評価するだけ、消費するだけは含まない）
2. 成果物または工程の状態を、決定をまたいで持ち越す
3. 途中の観測が、少なくとも1回、後続の作業の向きを変える

「エージェントが何体いるか」「モデルを何回呼んだか」は定義に入りません（§2.2）。逆に、途中で観測しても後続が変わらないパイプラインは、何段構えでも対象外です。この線引きがそのまま文献の選別基準になり、arXiv・Google Scholar・Semantic Scholar・ACM DL・IEEE Xplore を2023年1月〜2026年8月20日で検索して、259件（システム230件＋ベンチマーク29件）が残りました（§1.3）。

3つの役と、ひとつのループ

論文の骨格は、この定義を3つの機能に割ったところにあります（§3.2）。実装の分解ではなく、役割の分解です。

操作的表現が、作りかけの成果物の状態と、そこに当てられる編集操作を持ちます。

$R_t$ は時刻 $t$ の成果物側の状態（下書き、SVGツリー、リポジトリなど）、$a_t$ は選ばれた行動、$U$ は更新の仕方です。この式が言っているのは要するに、いまの形に編集を1つ当てると、次の形になる、それだけです。ポスターなら「この図をひとつ小さくする」を当てると別のポスターになる、という当たり前のことを、わざわざ「状態」と「操作」に分けて書いてあります。分けることに意味があるのは、後で「どの操作が壊したのか」を遡るときに、遡る先が状態の中の場所として存在するからです。

構築方針が、次の一手を決めます。

$T$ は課題仕様、$f_t$ は手元のフィードバック。つまりこの式が言っているのは、次の一手は、課題と、いまの形と、直前に分かったことの3つだけから決まるということです。裏返せば、$f_t$ が空っぽのまま回っている系は、この式の第3引数を使っていない — 定義の3番目（観測が後続を変える）を満たさないので、そもそも対象外になります。この「次」には、どこを直すか・誰にやらせるか・もう止めるか、も含まれます。

実行時検証が、その結果を見て次のフィードバックを作ります。

$o_{t+1}$ は更新後の状態の観測、$V$ は受け入れ基準に照らす関数です。言い換えると、やってみた結果を見て、基準を満たしたか、満たさないなら何がどう駄目かを、次の一手が使える言葉に翻訳するのがこの式です。$V$ の出力がただの点数だと、$\pi$ は「どこを直すか」を決められません。合格すれば納品、駄目ならフィードバックが方針に戻る。この3つが噛み合ったときだけ、論文の言う「合成可能性・追跡可能性・改訂可能性」が生まれます（§1.2）。

行動の地平が長いほど、確かめるべき状態は急速に増えます。ゲームの試遊やシミュレータのロールアウトが「状態空間の一部しか覆わない」（§4.6）のは、この爆発が理由です。

六つの成果物ファミリー

論文は文献を、モデルやタスクではなく独立に受け取られる成果物の形で6つに分けます（§4）: テキスト、2Dビジュアル、音声、動画、空間（3D/CAD）、そして振る舞い（ソフトウェア・シミュレータ）。さらに16のプロファイルに細分され、251件が割り当てられました（Figure 2）。

面白いのは、難しさを決めているのがモダリティではないという指摘です。効くのは2つの軸です。ひとつは決定の結合の強さ（ある決定が他をどれだけ縛るか）、もうひとつは失敗がまだ直せるうちに見えるか（§4末尾）。テキストは読むだけで分かるが伏線の破綻は何段落も後に出る。動画は再生するまで分からない。ソフトウェアは実行して初めて分かるが、実行が覆うのは通った経路だけ。ファミリーが違っても、問われるのは同じ問い —「観測された失敗を、表現上のどの単位に遡って、そこだけ直せるか」です。

補足しておくと、話し言葉の音声（spoken audio）には定義を満たす専用システムが1件も見つかっていません（§4.3.2）。ポッドキャスト生成のような近い例はあっても、編集可能な音声成果物を保持していないためです。