2026-08-12·無料·論文·10分で読めます

論文解説: Macaron-V1 — 凍結ベース×LoRA混合で「出荷後も育つ」エージェントモデルを作る

Mind Labのオープンエージェントモデル群Macaron-V1を論文本文から解説。凍結した744Bベースに4枚のLoRA専門家を重ねてターンごとに1枚選ぶMixture-of-LoRAと、モデル＋ハーネスのペアを世代ごとに鍛える再帰的自己改善ループの中身を追う。

要点

Macaron-V1は、デプロイ後も経験から学び続ける「経験知能」を掲げるMind Labのオープンなエージェントモデル群である。
Mixture-of-LoRAは大きなベースモデルを凍結し、専門家LoRAアダプタをユーザーの1ターンごとに1枚だけ選んで応答させる。
ルーティングはチャット担当アダプタL0自身が24トークンの制約付きデコードで行い、Ventiでは3ホップ合計4.68秒の約32%を占める。
own-viewは履歴を決定的に再構築するのでプレフィックスキャッシュが当たり、4専門家の保持は2.976Tから約774.8Bへ74%削減される。
凍結ベースが全滅する122タスクに、重みを更新せず設定探索だけで挑み、累計122/122を通過した。

#lora #mixture-of-lora #continual-learning #agents #self-improvement #llm-serving

対象textタスクagents

Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA

一次資料 — この記事の根拠

論文の発表 2026-08-10→この解説の公開 2026-08-12同月

Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRAMind Lab, :, Vin Bo ほか · 2026-08-10 · v1arXiv:2608.09819論文ページ·PDF

原文の要旨（Abstract）を読む

Macaron-V1 is an open agent-model family for experiential intelligence: learning from experience in real environments and continuing to learn after deployment. It is organized around two system goals. Adaptation is pursued through recursive improvement of versioned model-harness pairs, where experience from one configuration is evaluated under an external contract and used to construct its successor. Collaboration is pursued via the Mixture-of-LoRA (MoL) architecture that freezes a base model, composes specialist LoRA adapters, and selects one LoRA per user turn. The flagship Macaron-V1-Venti combines a 744B GLM-5.2 base with four LoRAs for chat, agent, coding, and GenUI; the Qwen3.6-based Macaron-V1-Tall (50B) uses the same design for local deployment. This report presents Macaron-V1 as a co-designed system spanning architecture, algorithms, and infrastructure. The MoL architecture supports continual learning through extensible LoRA specialists. The algorithm combines Model-Harness Co-design and recursive self-improvement loop, including the UI4A component-native GenUI harness, a stateful action substrate, versioned HCP contract, and the agentic RL framework MindForge. The supporting infrastructure includes the post-training platform MinT, the long-context RL method LongStraw, and stability techniques for sparse MoE and DSA base models. We evaluate Macaron-V1 on Personal Intelligence, GenUI, and general capability benchmarks against frontier baselines. Our results validate the current system, while compounding gains from continual learning and collective intelligence remain open questions.

出荷した日に時間が止まるモデル

大規模言語モデルの弱点のひとつは、出荷された瞬間から世界に置いていかれることです。地図アプリは道路が変われば更新されますが、モデルの中身は学習を締め切った日のまま止まります。かといって744B級のモデルを丸ごと再訓練するのは重すぎますし、チャット・コーディング・ツール操作という性質の違うタスクを1つのパラメータ空間に詰め込むと、共有パラメータを取り合ってタスク同士が干渉しうる、と論文は指摘します(§1)。

Mind Labが公開したMacaron-V1は、この「出荷したら固定」を壊しにいくオープンなエージェントモデル群です。論文は目標を経験知能（experiential intelligence）——実環境で積んだ経験から学び、デプロイ後も学び続ける能力——という言葉で掲げます(§1)。

2つの賭け: 「適応」と「協働」

論文の骨格は2つの目標に整理されています(§1)。

1つ目は適応（Adaptation）。モデル単体ではなく「モデル＋ハーネス」のペアをバージョン管理し、ある版の運用経験を外部の契約（評価基準）で審査して次の版を組み立てる、という再帰的な改善です。ハーネスとは、モデルの出力を実際の行動に変える足場——ツール、プロンプト、実行環境——のこと（LLMエージェントの基礎も参照）。

2つ目は協働（Collaboration）。Mixture-of-LoRA（MoL）というアーキテクチャで、大きなベースモデルを凍結し、その上に専門家LoRAアダプタを重ね、ユーザーの1ターンごとに1枚だけを選んで応答させます。

モデルは3種類です。旗艦のMacaron-V1-Ventiは744BのGLM-5.2ベースに4枚のLoRA（チャット/エージェント/コーディング/GenUI）を載せた構成（公称ラベルは748B）。Macaron-V1-Tallは同じ4アダプタ設計をQwen3.6ベースで組んだ約50Bのローカル配備向け。Macaron-V1-Coding-VentiはコーディングLoRAをベースに焼き込んだ単能版です(§1, §2.2)。

Mixture-of-LoRA: 凍った幹に差し替え可能な枝

LoRAは「巨大な重み行列を直接いじらず、低ランクの小さな差分だけを学習する」定番の追加学習手法です（仕組みはLoRA論文の解説へ）。MoLの設計規則は論文中で1行に凝縮されています(§2.1)。

スキルと思考パターンを共有するタスクは1枚のLoRAに束ね、鋭く乖離するタスクは別々のLoRAに分ける。

ここから2つの性質が導かれます。ベースが凍結されているので、新しい能力は「アダプタを訓練して登録する」だけで足せ、あとから来た特化学習が既存の重みを上書きして壊すことがない。そしてベースが共有なので、別のチームや別のユーザーが訓練した専門家を、同じランタイムに同居させられる(§2.1)。

名前の似たMoE（Mixture-of-Experts）は、トークンごとにsoftmaxゲートが複数の専門家へ重みを「配分」します。MoLはそれと違い、ターンごとに1枚を完全に「選択」します。下の図で温度を下げると分布が1点に尖っていきますが、あの極限をターン単位で最初からやる設計だと考えると、両者の位置づけが掴めます。

FIG 1softmaxの温度を下げると重みの分布が1点に尖る。MoEはトークンごとの「重み配分」、MoLはターン単位で1枚だけ選ぶ「完全に尖った選択」に相当する

1ターン3ステップのルーティングループ

MoLは専用のルーターモデルを訓練しません。チャット担当のアダプタL0自身がリクエストを読み、どの専門家が担当かを判断します(§2.3)。1ターンの流れは3段階です。

Route: L0が24トークンの制約付きデコードで、正規ラベル（L0〜L3）を1つだけ出力する
Answer: 選ばれた専門家が応答を生成する
Summary: 専門家が「いま何をしたか」を最大192トークンで要約し、サーバー側だけに保存する

このループはタダではなく、実測（48リクエスト）ではVentiでルート0.54秒＋要約0.97秒が上乗せされ、3ホップ合計4.68秒の約32%を占めます(§2.3)。ルーティング精度は6,448サンプルのトレースで99.12%——ただし訓練データ由来のトレースなので、汎化性能ではなく実装診断だと論文自身が線を引いています(§2.3)。品質も3アーム比較で劣化は検出されませんでしたが、5シードの小規模比較で等価性の証明ではない、という書き方です(§2.3)。

own-view: ルーティングを安くする会話の再構成

実装で一番効いている工夫がown-view（自分専用ビュー）です(§2.4)。各専門家が見る会話履歴は、自分の過去ターンは生のまま、他の専門家のターンは192トークン要約に潰した形で、追記専用のタイムラインから毎回決定的に再構築されます。

再構築が決定的なので、同じ専門家に話が戻ったとき、プロンプト前半はバイト単位で前回と一致します。するとvLLMやSGLangが標準で持つプレフィックスキャッシュが当たり、増えた末尾だけ計算すればよい。アダプタ別のKVキャッシュ再利用がエンジン改造ゼロで「創発」するわけです(§2.5、背景はKVキャッシュの解説へ)。デプロイ面では、4専門家をベースに焼き込んで4複製すると2.976Tパラメータの保持が必要なところ、MoLは1ベース＋アダプタで約774.8B——74%の削減です(§2.6)。ただし比較は保持コストだけで、複製方式よりレイテンシが良いとは主張していません(§2.6)。

再帰的自己改善: 鍛える対象は「モデル＋ハーネス」

後半の主役は訓練ループです。エージェントの方策はこう書かれます(§3.2.1)。

\pi_{\phi}(a_t \mid o_{\le t};\, \theta,\, c)

(1)

つまりこの式が言っているのは、「次に何をするかは、それまでに見えているものすべてを条件にして決まる」ということです。縦棒の左が選ぶ行動、右がその判断材料で、セミコロンより後ろは訓練中に動かさない前提条件を並べた場所だと読めば形が掴めます。

$\pi$ は方策（行動の決め方）、 $\phi$ は訓練できるLoRAパラメータ、 $a_t$ は時刻 $t$ の行動、 $o_{\le t}$ はそれまでの観測、 $\theta$ は凍結ベースの重み、 $c$ はバージョン管理されたハーネス設定。改善の道は2本——重み $\phi$ を更新する道と、設定 $c$ を差し替える道——というのがこの式の言いたいことです。

再帰的自己改善（RSI）のサイクルは3段階(§3.2.3)。Discoveryで今のモデルが解けない少し難しいタスクを検証可能な採点基準つきで自作し、Expansionで本番と同じハーネスで実行して失敗をモデル・タスク・設定に切り分け、設定側の修正候補を再実行で検証。Updateで選別した軌跡からLoRAをGRPO更新し、採択した設定を次世代の構成として登録します。

Expansionだけを切り出した実験が印象的です(§3.2.5)。凍結ベースが公式採点で全滅する122タスク（TerminalBench 2.1由来）に重みを一切更新せず設定探索だけで挑み、69ジョブ・450試行の末に累計122/122を通過。単一設定での全タスク掃引の最高は11/122（9.0%）でした。「ベンチで落ちる＝能力がない」ではなく「引き出せていないだけ」のケースがかなりある、という結果です。ただし未達タスクを狙い撃つ適応的探索なので、122/122はカバレッジ上限であって単一設定の汎化性能ではない、と明記されています(§3.2.5)。

インフラ: MinT と LongStraw

この回転を支える基盤は2つ(§4)。MinTは凍結ベースを常駐させたままLoRA改訂版だけを訓練→サービングへ受け渡す基盤で、マージ済みチェックポイント方式比でハンドオフ最大18.3倍短縮の測定（系列レポート由来）が示されます(§4.1)。LongStrawは「応答トークンだけに勾配を流す」長文脈RL実行方式で、約210万トークンのプロンプトでの更新完了を確認——ただし実行チェックであり、Macaron-V1がその長さで訓練された証拠ではないと注記されます(§4.2)。

評価: 内製ベンチの強さと、その読み方

内製のMacaron ChatBench（会話品質）で58.3（GPT-5.5は55.5）、Macaron LivingBench（生活支援シミュレーション）で64.0（Opus 4.8は63.8）。GenUIのUI4A-Benchは87.8で、Opus 4.8の75.9、GPT-5.5の72.1を明確に上回ります。TerminalBench 2.1の87.6は表中最大、SWE-Verifiedは85.6でOpus 4.8の88.6が上。小型のTallは比較可能な7項目すべてでベース超えでした(§6.2)。

ただしChatBench/LivingBenchは自社製品の失敗事例から作られRSIループとドメインを共有する、いわば身内の土俵での得点です(§5.1)。ジャッジがGLM-5.2系列で同系のMacaronに有利な可能性は未検証、LivingBenchの0.2点差は「優位の証明と解釈すべきでない」と論文自身が書いています(§6.2)。

論文が認める限界

公開されたのはRSIループの1スナップショットであり、世代を重ねて改善が複利で効く証拠はまだありません(§7.2)。REPL型ハーネスも万能ではなく、結果を見てから次を決めるAPIではBFCL v4で関数呼び出し方式に負けます（49.5%対54.0%、系列研究の測定）。長セッションでキャラクターの一貫性が崩れる現象も観測済みで未定量(§6.3)。製品会話をデータに使いながら同意取得・匿名化手続きの文書化や独立した安全評価がない点、他チーム製アダプタの合成（「協働」の本丸）が未実証である点も、論文自身が認めています(§7.2)。

現場ではこう使う

一番刺さる読者は、LLMサービングを運用するエンジニアと社内特化モデルを作るMLエンジニアです。

多用途・マルチテナントのサービングなら、vLLM/SGLangのマルチLoRA機能（vLLMなら --enable-lora、--max-loras、--max-lora-rank）で「1ベース＋用途別アダプタ」を今日から組めます。own-viewが教える実務則は「プロンプト前半を決定的に保て」——履歴の再構成がリクエストごとに揺れると、プレフィックスキャッシュが全ミスして推論コストが跳ねます。
ファインチューニングで触るのは r（ランク）、lora_alpha、target_modules。参考値として、Ventiの公開設定はrank 16・alpha 32、Tallはrank 64・alpha 128(§2.2)。
落とし穴は3つ。アダプタ切替はKVキャッシュのアダプタ依存部分を無効化する(§2.5)。ルーティングの追加ホップはレイテンシ税（本論文の構成で約32%）(§2.3)。訓練時と本番のハーネスの食い違いは「直すべきバグ」として扱う(§3)——評価だけ通って本番で崩れるエージェントの典型原因です。

まとめ

Macaron-V1の提案を一言でいえば、「強いモデルを1回作る」から「ベース・専門家・ハーネスを別々の時計で回し続ける」への転換です。部品は既存技術でも、ルーティングをL0の推論に任せ、own-viewでKV再利用を創発させ、ハーネスを一級の訓練対象に据えた統合設計には学ぶところが多い。看板の「継続学習の複利」と「集合知能」はまだ宿題であり、次のリリースで世代間の伸びが示されるかが答え合わせになります。