2026-08-13·無料·論文·16分で読めます

論文解説: Frontis-MA1 — 「AIを作るAI」を鍛える。MLエンジニアリングで再帰的自己改善に一歩迫るOpenMLE

「解くモデル」ではなく「解を改善する操作」を実行結果で訓練し、その操作で進化探索を回す——OpenMLEスタックと35BモデルFrontis-MA1を論文本文から解説。MLE-Bench Liteでの39.39%→71.21%という伸びの内訳、探索効率の仕組み、そして論文自身が認める限界まで。

要点

AI4AIはAIを作り改善する作業にAI自身を参加させる方向性で、その先のゴールが再帰的自己改善(RSI)です。
OpenMLEはGym・ERL・Evoの3層スタックで、その上で35BモデルFrontis-MA1が訓練されました。
Draft・Improve・Debug・Crossoverの4操作が訓練と推論の共通語彙となり、論文はこの結合をメタ進化と呼びます。
OpenMLE-Gymは実行して採点できる5,758個のタスク環境で、完全なタスクデータを公開できるのは1,415問です。
MLE-Bench Liteの22タスクで、Frontis-MA1-35Bは同ハーネスでベースの39.39%から60.61%に向上しました。

#agents #recursive-self-improvement #evolutionary-search #reinforcement-learning #mle

対象textタスクagents

Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering

一次資料 — この記事の根拠

論文の発表 2026-07-30→この解説の公開 2026-08-13同月

Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning EngineeringJunlin Yang, Che Jiang, Yu Fu ほか · 2026-07-30 · v1arXiv:2607.28568論文ページ·PDF

原文の要旨（Abstract）を読む

Recursive self-improvement (RSI) requires AI systems that improve the process of building AI (i.e., AI4AI); machine learning engineering (MLE) offers a concrete, executable testbed for studying this capability. We introduce OpenMLE, an open full-stack system for RSI research in MLE, spanning verifiable task environments with execution feedback (OpenMLE-Gym), operator learning (OpenMLE-RL), and long-horizon search (OpenMLE-Evo). On this stack we post-train Frontis-MA1 (35B) as a meta-evolution agent for MLE, aligning post-training and inference around four atomic program-evolution operators (Draft, Improve, Debug, Crossover): the same operators are trained via execution-grounded SFT and RL on data deduplicated against all evaluation benchmarks, then composed into long-horizon search, coupling learning and evolution in a single loop. On MLE-Bench Lite under a 12-hour per-task budget on one RTX 4090 capped at 12 GB VRAM, Frontis-MA1 (35B) improves Medal Average from 39.39% to 60.61% over its base model with OpenMLE-Evo, and reaches 71.21% with OpenMLE-Evo-Max (benchmark-independent experience priors and asynchronous search), exceeding GPT-5.5 + Codex and approaching GPT-5.6 Sol and the 2.8T Kimi K3. On held-out NatureBench Lite, both components transfer: with the framework fixed, swapping in the trained model raises Match-SOTA from 50% to 70%; with the model fixed, swapping in OpenMLE-Evo raises it from 20% to 50%. We release the model weights and the full OpenMLE stack to enable reproducible research on executable AI4AI toward RSI. Code: https://github.com/FrontisAI/OpenRSI

鍛冶屋が自分の金槌を鍛え直す

腕を上げたい鍛冶屋には2つの道があります。ひとつは、ひたすら鉄を打って作品の質を上げること。もうひとつは、金槌そのものを鍛え直すこと。よい金槌ができれば、これから作るすべての作品が底上げされます。

AIの世界でこの「金槌の改良」にあたるのが AI4AI（AI for AI）——AIを作り改善する作業に、AI自身を参加させる方向性です。その先にある野心的なゴールが再帰的自己改善（RSI: Recursive Self-Improvement）で、改善されたシステムが「次の世代を作るプロセス」をさらに改善する、というループを指します（§1）。

今回の論文（Frontis.AIのHorizon Researchと清華大学らによる）は、この壮大なテーマを機械学習エンジニアリング（MLE）という実行可能な土俵に落とします。MLEとはKaggleコンペのような仕事です。データを調べ、モデルを書き、実行し、スコアを見て直す。結果が数値で返るので「改善できたか」を誤魔化しなく検証できる——RSI研究のテストベッドとして都合がよいのです（§1）。

成果物は2つ。オープンな3層スタック OpenMLE と、その上で訓練された35Bパラメータのモデル Frontis-MA1 です。モデルの重みとスタック一式（データ・訓練/評価コード・サンドボックス・探索ハーネス）を公開するとしています（§1）。

全体像: 3層スタックと4つの「手」

OpenMLEは3層に分かれます。OpenMLE-Gymは実行して採点できる5,758個のタスク環境（§3）、OpenMLE-ERLは実行結果を使ったSFT＋強化学習（§4）、OpenMLE-Evoは長時間の進化探索ハーネス（§5）です。

要になるのが、4つの原子操作 Draft（ゼロから解を書く）・Improve（既存解を改善する）・Debug（壊れた解を直す）・Crossover（2つの解の良いところを合成する）です（§4.1）。従来の研究では、探索ハーネス（足場）が凍結されたモデルを呼び出すだけで、モデル側は探索から何も学びませんでした。OpenMLEではこの4操作が訓練と推論の共通語彙になります。探索が生んだ検証済みの改善ステップがそのまま訓練データになり、訓練されたモデルが今度は探索の「変異エンジン」になる。論文はこの結合をメタ進化（meta-evolution）と呼び、Frontis-MA1（Meta-evolution Agent 1）の名前の由来にしています（§1, §2）。

問題設定を1本の式で

探索の1ステップは次のように書けます（§2）。

p_{t}\sim g_{\theta}(\cdot\mid\tau,\,a_{t},\,c_{t}),\qquad s_{t}=R_{\tau}(\mathcal{E}(p_{t},\tau))

(1)

言い換えると——タスク $\tau$ と、選んだ操作 $a_{t}$ （Draftなど4種のどれか）と、親プログラムや実行フィードバックから組んだ文脈 $c_{t}$ を渡すと、モデル $g_{\theta}$ が候補プログラム $p_{t}$ を提案する。サンドボックス $\mathcal{E}$ がそれを実行し、タスク固有の評価器 $R_{\tau}$ がスコア $s_{t}$ を返す。つまりこの1行は、ふだんの手作業をそのまま書き写したものです——手を1つ選び、これまでの試行を眺め、コードを書き、走らせ、返ってきた数字を読む。予算内でスコア最大のプログラムを見つけるのが探索の目的です。学習側は、SFTもRLも「実行スコアの良いプログラムの生成確率を上げる」という1本の重み付き損失に集約されます（§2）。

なぜ「一番良い解」だけ掘ってはいけないのか

本題に入る前に、この論文を貫く直感をひとつ。進化探索では次にどのノード（候補解）を親にして展開するかを選び続けますが、現在スコア1位の枝だけを貪欲に伸ばすと、伸び代のある枝が死にます。論文はクジラ鳴音検出タスクの実例を挙げます。スコアでは6位だが「親からの改善量」では1位の候補Bを、質・進歩・新規性の3因子選択が拾い上げ、その子孫が最終的に検証AUC 0.99203、ホールドアウトAUC 0.99386に到達しました。スコアだけで選んでいたら、この枝の選択確率は10.47%どまり。3因子で17.09%に上がったことが効いた、と論文は分析しています（§6.5）。

選択は「効用のsoftmax」で確率化され、温度で分布の尖りを調整します。下の図で温度を動かすと、貪欲（低温）と探索（高温）のトレードオフが体感できます。

FIG 1温度を下げると1位ばかり選ばれ（貪欲）、上げると選択が広がる（探索）。OpenMLE-Evoの親選択は、この分布に質・進歩・新規性の3因子を流し込んで決める

ここから先は、スタックの3層を下から順に開けていきます。

OpenMLE-Gym: 5,758問の「実行できる問題集」

各タスクは5つの要素からなる環境です。仕様と公開データ、隠し評価器、資源予算からなる状態、エージェントが提出するプログラムという行動、サンドボックス実行という遷移、実行ステータス・スコア・ログ等の構造化された観測、そして評価器が返す報酬（§3.1）。強化学習でおなじみのGym型の契約を、数時間かかるMLEジョブに適用した形です。

タスクは3系統から作られます。論文やベンチマークから手で選んだアンカー156問、Kaggleデータセットから自動生成した3,362問、Kaggleコンペから変換した2,240問です（§3.5）。自動生成には品質のばらつきがつきものなので、タスクの妥当性・データ十分性・元データの活用度・難易度・データ品質の5軸で判定するLLMベースの品質フィルタを通し、厳格に「推奨」となったものだけを残します（§3.3）。評価に使うMLE-Benchと重複するコンペは構築段階で除外済みです（§3.2）。なお、ライセンスの都合で完全なタスクデータを公開できるのは5,758問中1,415問で、残りはスクリプトのみの公開になります（§3.5の脚注）。

地味に重要なのが、サンドボックスが返す6種類のフィードバック——成功・実行時エラー・コード欠落・提出物欠落・採点失敗・タイムアウト——の区別です（§3.4）。「コードが動かない」のと「動くが解が弱い」のは別の失敗であり、これを区別できることが後段の学習と探索の質を支えます。

OpenMLE-ERL: 操作そのものを実行結果で鍛える

学習は2段階です。まず実行に基づくSFT。教師モデルに解かせて実行し、スコアで選別した26,259例のコーパスを作ります。内訳は、独立にDraftさせた完全解17,245例と、進化探索の軌跡から「最終解に因果的に貢献したステップ」だけを抽出した9,014例（§4.2, 付録B.1）。タスクごとに採択数の上限か実行予算に達したら収集を打ち切る、予算適応的な集め方をします。

次に強化学習。ここでMLE特有の問題が出ます。タスクごとに指標も範囲もバラバラ（精度、log損失、RMSE…）で、報酬が比較できないのです。まず上下限で0〜1に正規化します（§4.3）。

r_{\mathrm{base}}(\tilde{s};b_{\mathrm{best}},b_{\mathrm{worst}})=\mathrm{clip}\!\left(\frac{\tilde{s}-b_{\mathrm{worst}}}{b_{\mathrm{best}}-b_{\mathrm{worst}}},\,0,\,1\right)^{\alpha}

(2)

言い換えると、スコア $\tilde{s}$ （大きいほど良い向きに揃えたもの）を、最良 $b_{\mathrm{best}}$ と最悪 $b_{\mathrm{worst}}$ の間のどこにいるかの割合に変換する、というだけの式です。分数の部分は物差しの上の位置で、最悪と同じなら0、最良と同じなら1という意味。clipは物差しからはみ出た値を両端に留め、指数 $\alpha$ はその0〜1の位置を累乗して、報酬の上がり方の急さを曲げます。ただし理論上の上下限やリーダーボードの端は広すぎて、現在の方策が出せるスコア帯では差がほぼ潰れてしまう。そこでタスクごとの実測スコアから適応バウンドを作り直し、方策の現在地で解像度が出るようにします（§4.3）。

さらに、正規化した報酬にエントロピック優位をかけます。

A_{i}^{\mathrm{ent}}\approx\frac{\exp(\beta\, r_{\mathrm{proc},i})}{\frac{1}{G-1}\sum_{j\neq i}\exp(\beta\, r_{\mathrm{proc},j})}-1

(3)

言い換えると、同じグループ $G$ 個の候補の中で、上位の候補ほど指数的に大きな学習信号を受け取る仕組みです（ $\beta$ が集中度の調整つまみ）。分数は、ある候補の指数化した報酬を、同じグループの他の候補の平均と比べたもの。要するに「この部屋の平均からどれだけ抜けているか」で、平均並みの候補は最後の $-1$ でちょうど0になり、突出した候補だけがそこから大きく離れていきます。MLEの評価は「見つけた最良解」で決まるので、ギリギリ動くだけの提出と上位解を同じ正の報酬で扱ってはいけない、という設計思想です（§4.3）。

工学面では、実行に数分〜数時間かかるジョブを同期バッチで待つと最遅ジョブがボトルネックになるため、完了したグループから順に学習に流す非同期ロールアウトを採用。計測ではステップあたり平均97.0分が50.8分に短縮されました（付録B.4）。また、どの親プログラムの上で操作を練習するかも、親の報酬・子報酬の分散・訪問回数による冷却の3項を足した適合度で選びます（§4.3の式(3)）。

OpenMLE-Evo: 経験カードで探索を運転する

推論時の探索ハーネスはAIRA-Evo系の集団ループを土台に、経験の使い方を作り直したものです。ノードを評価するたびに、出自・性能・実行結果・資源使用量を決定的に記録した経験カードを作り、全カードをタスク全体の経験ボード（手法族ごとの成績、未踏の方向、繰り返し起きる失敗、スコアの趨勢など）に集約します（§5.1）。

親選択は先ほど予告した3因子です（§5.2）。

U_{i}=\lambda_{s}\tilde{s}_{i}+\lambda_{\Delta}\widetilde{\Delta}_{i}+\lambda_{n}\nu_{i},\qquad P(i\mid\mathcal{I})=\frac{\exp(U_{i}/\tau)}{\sum_{j\in\mathcal{I}}\exp(U_{j}/\tau)}

(4)

言い換えると、候補 $i$ の効用 $U_{i}$ を、正規化スコア $\tilde{s}_{i}$ （質）と、親からの改善量 $\widetilde{\Delta}_{i}$ （進歩）と、手法族の新規性 $\nu_{i}$ の加重和で定義し、温度 $\tau$ 付きのsoftmaxで選択確率にします。要するに、親を選ぶ前にどの候補にも3つの問い——どれだけ良いか、親からどれだけ伸びたか、同じ手法を誰かがもうやっていないか——を投げ、その合計点をどれだけ厳しく効かせるかを温度が決める、という形です。冒頭の動く図そのものです。

メモリの扱いも倹約的です。従来のAIRA-Evoは全ノードの履歴を毎回LLMで要約していましたが、OpenMLE-Evoは操作に選ばれたノードだけをオンデマンドで要約してキャッシュします（§5.3）。さらに文脈は操作ごとに設計され、Improveには祖先の縦の系譜と兄弟ノードの横の比較、Debugには同じエラー署名を持つ過去の試行、Crossoverには両親それぞれの文脈と手法の相補性を渡します（§5.4）。

FIG 2貪欲な降下は手前の谷で止まりがち。進歩や新規性を混ぜた親選択は、探索に慣性を与えて別の谷を試させる——という直感の比喩として、慣性（モーメンタム）で局所解を越える様子を動かしてみてほしい

結果: 学習と探索の効果は足し算になる

評価はMLE-Bench Liteの22タスク、1タスクあたり12時間、RTX 4090 1枚（VRAM 12GB上限）という控えめな計算予算で、各構成3回走らせた平均です（§6.1）。主要な数字を並べます（§6.2, Table 1）。

モデルの効果: 同じOpenMLE-Evoハーネスで、ベースのQwen3.6-35B-A3BのMedal Average 39.39%に対し、Frontis-MA1-35Bは60.61%（Human Rankは0.5828→0.7647）
探索強化の効果: 経験の事前知識と非同期並列探索を加えたOpenMLE-Evo-Maxで71.21%（Human Rank 0.8126）。GPT-5.5＋Codexの68.18%を上回り、GPT-5.6 SolやKimi K3の72.73%に迫る
別モデルでの再現: 30B版でも34.85%→53.03%→66.67%と同じ方向の伸び
ハーネス比較: 同じFrontis-MA1-35Bで、元のAIRA-Evoの53.03%に対しOpenMLE-Evoは60.61%。GLM-5.2やMiniMax M3などでも、Claude CodeやCodexといった汎用足場よりOpenMLE-Evoが高い

効率の分析も具体的です（§6.5）。AIRA-Evoとの66タスク・ランの対照比較で、総トークンは129.3M→75.3M（-41.7%）に減りながら、検証ベストの更新回数は229→246に増加。100万トークンあたりの更新数は1.77→3.27（+84.3%）で、Improve操作が新記録を出す率も4.73%→9.36%に上がりました。Improveのプロンプト長は99パーセンタイルで389.0K→54.3K文字（-86.1%）。「全履歴の直列化をやめて有界な文脈にする」ことがコストと質の両方に効いた、という主張の裏付けです。

転移の証拠もあります。Nature系論文の再現を問うNatureBench Lite（10タスク）で、探索枠組みを固定してモデルを差し替えるとMatch-SOTAが50%→70%、モデルを固定して探索をOpenMLE-Evoに差し替えると20%→50%に上がりました（§6.6）。また長時間の軌跡分析では、葉の分類タスクで検証スコア改善の85.0%が後半のImproveとCrossoverから生まれており、探索時間が「同じことの繰り返し」ではなく蓄積に使われていることを示します（§6.3）。

論文の限界 — RSIはまだ実現していない

論文自身がここに1章を割いています（§8）。①報酬は実行された解の最終スコアだけで、「その研究方針が筋が良いか」を測れない。②進化ハーネスと汎用コーディングエージェントが分離しており、モデルが自発的に取れる行動の幅が狭い。③改善対象は外部のMLモデルであり、言語モデル自身の改善には踏み込んでいない。④進化システム自体は固定で、進化の対象になっていない。⑤経験カードには豊富なメタデータがあるのに、親選択は手設計の3因子・固定重みしか使っていない。§7でも「汎用の自律的RSIを実現したという主張ではない」と明言されています。

読み手として付け加えるなら、転移評価は10タスク、モダリティ別の分析も各群が小さく、結論の一般性はまだ限定的です（この点は論文も§6.6の要約で認めています）。MLE-Bench Liteは本家22タスクの縮小版であることにも注意してください。

現場ではこう使う

この論文は「エージェントのハーネスを作る人」への設計教訓が濃い一本です。

誰がいつ使うか: LLMエージェント基盤やAutoML系プロダクトの開発者が、探索ハーネスを設計・改善するとき。最大の教訓は「学習させる操作」と「探索が呼び出す操作」の語彙を一致させることです。自作するなら、まずDraft/Improve/Debug/Crossoverのような操作を型として切り、プロンプトのテンプレートと訓練データの形式をその型で揃えるところから始めるのが本論文流です。
触ることになるパラメータ: 親選択の3因子の重み（論文の実例はScore/Gain/Novelty = 1.0/0.6/0.3）と温度 $\tau$ 、RL時の操作サンプリング比（Draft 0.50 / Improve 0.17 / Debug 0.17 / Crossover 0.16、付録B.3）、タスクあたりのサンドボックス予算（ここでは12 GPU時間）、報酬集中度 $\beta$ 。
知らないと事故になる落とし穴: (1) 訓練データと評価ベンチの重複除去を怠ると数字が信用できなくなる——論文は全評価ベンチに対してdedupしたと明記しています。(2) 探索履歴を全部プロンプトに直列化するとトークン費用が爆発する——有界な操作条件付き文脈が-41.7%の差を生みました。(3) 「実行が成功した」と「解が良い」の混同——6種フィードバックを区別し、報酬は上位に厚く配ること。(4) 異種メトリクスの報酬正規化を理論上下限でやると差が潰れてRLが進まない——適応バウンドが必要です。
面接で問われそうな問い: 「探索木で常に最高スコアのノードだけ展開すると何が起きるか？」——相補的な枝が枯れてCrossoverの材料が消える、が本論文の実証つきの答えです（§6.5）。

次に読む

LLMエージェント入門 — 観測→行動→フィードバックのループという、本稿の土台になる基本構造
論文解説: AgentOPSD — エージェントRLの別の難所「どの一手が効いたか」を攻める研究。報酬設計の悩みが地続き
論文解説: Macaron-v1 — 自己改善をオープンな継続学習として捉える、本稿と並走するもう一つの路線