論文解説: Frontis-MA1 — 「AIを作るAI」を鍛える。MLエンジニアリングで再帰的自己改善に一歩迫るOpenMLE

「解くモデル」ではなく「解を改善する操作」を実行結果で訓練し、その操作で進化探索を回す——OpenMLEスタックと35BモデルFrontis-MA1を論文本文から解説。MLE-Bench Liteでの39.39%→71.21%という伸びの内訳、探索効率の仕組み、そして論文自身が認める限界まで。

Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering

鍛冶屋が自分の金槌を鍛え直す

腕を上げたい鍛冶屋には2つの道があります。ひとつは、ひたすら鉄を打って作品の質を上げること。もうひとつは、金槌そのものを鍛え直すこと。よい金槌ができれば、これから作るすべての作品が底上げされます。

AIの世界でこの「金槌の改良」にあたるのが AI4AI（AI for AI）——AIを作り改善する作業に、AI自身を参加させる方向性です。その先にある野心的なゴールが再帰的自己改善（RSI: Recursive Self-Improvement）で、改善されたシステムが「次の世代を作るプロセス」をさらに改善する、というループを指します（§1）。

今回の論文（Frontis.AIのHorizon Researchと清華大学らによる）は、この壮大なテーマを機械学習エンジニアリング（MLE）という実行可能な土俵に落とします。MLEとはKaggleコンペのような仕事です。データを調べ、モデルを書き、実行し、スコアを見て直す。結果が数値で返るので「改善できたか」を誤魔化しなく検証できる——RSI研究のテストベッドとして都合がよいのです（§1）。

成果物は2つ。オープンな3層スタック OpenMLE と、その上で訓練された35Bパラメータのモデル Frontis-MA1 です。モデルの重みとスタック一式（データ・訓練/評価コード・サンドボックス・探索ハーネス）を公開するとしています（§1）。

全体像: 3層スタックと4つの「手」

OpenMLEは3層に分かれます。OpenMLE-Gymは実行して採点できる5,758個のタスク環境（§3）、OpenMLE-ERLは実行結果を使ったSFT＋強化学習（§4）、OpenMLE-Evoは長時間の進化探索ハーネス（§5）です。

要になるのが、4つの原子操作 Draft（ゼロから解を書く）・Improve（既存解を改善する）・Debug（壊れた解を直す）・Crossover（2つの解の良いところを合成する）です（§4.1）。従来の研究では、探索ハーネス（足場）が凍結されたモデルを呼び出すだけで、モデル側は探索から何も学びませんでした。OpenMLEではこの4操作が訓練と推論の共通語彙になります。探索が生んだ検証済みの改善ステップがそのまま訓練データになり、訓練されたモデルが今度は探索の「変異エンジン」になる。論文はこの結合をメタ進化（meta-evolution）と呼び、Frontis-MA1（Meta-evolution Agent 1）の名前の由来にしています（§1, §2）。

問題設定を1本の式で

探索の1ステップは次のように書けます（§2）。

言い換えると——タスク$\tau$と、選んだ操作$a_{t}$（Draftなど4種のどれか）と、親プログラムや実行フィードバックから組んだ文脈$c_{t}$を渡すと、モデル$g_{\theta}$が候補プログラム$p_{t}$を提案する。サンドボックス$\mathcal{E}$がそれを実行し、タスク固有の評価器$R_{\tau}$がスコア$s_{t}$を返す。つまりこの1行は、ふだんの手作業をそのまま書き写したものです——手を1つ選び、これまでの試行を眺め、コードを書き、走らせ、返ってきた数字を読む。予算内でスコア最大のプログラムを見つけるのが探索の目的です。学習側は、SFTもRLも「実行スコアの良いプログラムの生成確率を上げる」という1本の重み付き損失に集約されます（§2）。

なぜ「一番良い解」だけ掘ってはいけないのか

本題に入る前に、この論文を貫く直感をひとつ。進化探索では次にどのノード（候補解）を親にして展開するかを選び続けますが、現在スコア1位の枝だけを貪欲に伸ばすと、伸び代のある枝が死にます。論文はクジラ鳴音検出タスクの実例を挙げます。スコアでは6位だが「親からの改善量」では1位の候補Bを、質・進歩・新規性の3因子選択が拾い上げ、その子孫が最終的に検証AUC 0.99203、ホールドアウトAUC 0.99386に到達しました。スコアだけで選んでいたら、この枝の選択確率は10.47%どまり。3因子で17.09%に上がったことが効いた、と論文は分析しています（§6.5）。

選択は「効用のsoftmax」で確率化され、温度で分布の尖りを調整します。下の図で温度を動かすと、貪欲（低温）と探索（高温）のトレードオフが体感できます。

ここから先は、スタックの3層を下から順に開けていきます。

OpenMLE-Gym: 5,758問の「実行できる問題集」

各タスクは5つの要素からなる環境です。仕様と公開データ、隠し評価器、資源予算からなる状態、エージェントが提出するプログラムという行動、サンドボックス実行という遷移、実行ステータス・スコア・ログ等の構造化された観測、そして評価器が返す報酬（§3.1）。強化学習でおなじみのGym型の契約を、数時間かかるMLEジョブに適用した形です。

タスクは3系統から作られます。論文やベンチマークから手で選んだアンカー156問、Kaggleデータセットから自動生成した3,362問、Kaggleコンペから変換した2,240問です（§3.5）。自動生成には品質のばらつきがつきものなので、タスクの妥当性・データ十分性・元データの活用度・難易度・データ品質の5軸で判定するLLMベースの品質フィルタを通し、厳格に「推奨」となったものだけを残します（§3.3）。評価に使うMLE-Benchと重複するコンペは構築段階で除外済みです（§3.2）。なお、ライセンスの都合で完全なタスクデータを公開できるのは5,758問中1,415問で、残りはスクリプトのみの公開になります（§3.5の脚注）。