論文解説: Macaron-V1 — 凍結ベース×LoRA混合で「出荷後も育つ」エージェントモデルを作る
Mind Labのオープンエージェントモデル群Macaron-V1を論文本文から解説。凍結した744Bベースに4枚のLoRA専門家を重ねてターンごとに1枚選ぶMixture-of-LoRAと、モデル＋ハーネスのペアを世代ごとに鍛える再帰的自己改善ループの中身を追う。
Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA
一次資料 — この記事の根拠
論文の発表 2026-08-10→この解説の公開 2026-08-12同月
Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRAMind Lab, :, Vin Bo ほか · 2026-08-10 · v1arXiv:2608.09819論文ページ·PDF原文の要旨（Abstract）を読む
Macaron-V1 is an open agent-model family for experiential intelligence: learning from experience in real environments and continuing to learn after deployment. It is organized around two system goals. Adaptation is pursued through recursive improvement of versioned model-harness pairs, where experience from one configuration is evaluated under an external contract and used to construct its successor. Collaboration is pursued via the Mixture-of-LoRA (MoL) architecture that freezes a base model, composes specialist LoRA adapters, and selects one LoRA per user turn. The flagship Macaron-V1-Venti combines a 744B GLM-5.2 base with four LoRAs for chat, agent, coding, and GenUI; the Qwen3.6-based Macaron-V1-Tall (50B) uses the same design for local deployment. This report presents Macaron-V1 as a co-designed system spanning architecture, algorithms, and infrastructure. The MoL architecture supports continual learning through extensible LoRA specialists. The algorithm combines Model-Harness Co-design and recursive self-improvement loop, including the UI4A component-native GenUI harness, a stateful action substrate, versioned HCP contract, and the agentic RL framework MindForge. The supporting infrastructure includes the post-training platform MinT, the long-context RL method LongStraw, and stability techniques for sparse MoE and DSA base models. We evaluate Macaron-V1 on Personal Intelligence, GenUI, and general capability benchmarks against frontier baselines. Our results validate the current system, while compounding gains from continual learning and collective intelligence remain open questions.
出荷した日に時間が止まるモデル
大規模言語モデルの弱点のひとつは、出荷された瞬間から世界に置いていかれることです。地図アプリは道路が変われば更新されますが、モデルの中身は学習を締め切った日のまま止まります。かといって744B級のモデルを丸ごと再訓練するのは重すぎますし、チャット・コーディング・ツール操作という性質の違うタスクを1つのパラメータ空間に詰め込むと、共有パラメータを取り合ってタスク同士が干渉しうる、と論文は指摘します(§1)。
Mind Labが公開したMacaron-V1は、この「出荷したら固定」を壊しにいくオープンなエージェントモデル群です。論文は目標を経験知能（experiential intelligence）——実環境で積んだ経験から学び、デプロイ後も学び続ける能力——という言葉で掲げます(§1)。
2つの賭け: 「適応」と「協働」
論文の骨格は2つの目標に整理されています(§1)。
1つ目は適応（Adaptation）。モデル単体ではなく「モデル＋ハーネス」のペアをバージョン管理し、ある版の運用経験を外部の契約（評価基準）で審査して次の版を組み立てる、という再帰的な改善です。ハーネスとは、モデルの出力を実際の行動に変える足場——ツール、プロンプト、実行環境——のこと（LLMエージェントの基礎も参照）。
2つ目は協働（Collaboration）。Mixture-of-LoRA（MoL）というアーキテクチャで、大きなベースモデルを凍結し、その上に専門家LoRAアダプタを重ね、ユーザーの1ターンごとに1枚だけを選んで応答させます。
モデルは3種類です。旗艦のMacaron-V1-Ventiは744BのGLM-5.2ベースに4枚のLoRA（チャット/エージェント/コーディング/GenUI）を載せた構成（公称ラベルは748B）。Macaron-V1-Tallは同じ4アダプタ設計をQwen3.6ベースで組んだ約50Bのローカル配備向け。Macaron-V1-Coding-VentiはコーディングLoRAをベースに焼き込んだ単能版です(§1, §2.2)。
Mixture-of-LoRA: 凍った幹に差し替え可能な枝
LoRAは「巨大な重み行列を直接いじらず、低ランクの小さな差分だけを学習する」定番の追加学習手法です（仕組みはLoRA論文の解説へ）。MoLの設計規則は論文中で1行に凝縮されています(§2.1)。
スキルと思考パターンを共有するタスクは1枚のLoRAに束ね、鋭く乖離するタスクは別々のLoRAに分ける。
ここから2つの性質が導かれます。ベースが凍結されているので、新しい能力は「アダプタを訓練して登録する」だけで足せ、あとから来た特化学習が既存の重みを上書きして壊すことがない。そしてベースが共有なので、別のチームや別のユーザーが訓練した専門家を、同じランタイムに同居させられる(§2.1)。
名前の似たMoE（Mixture-of-Experts）は、トークンごとにsoftmaxゲートが複数の専門家へ重みを「配分」します。MoLはそれと違い、ターンごとに1枚を完全に「選択」します。下の図で温度を下げると分布が1点に尖っていきますが、あの極限をターン単位で最初からやる設計だと考えると、両者の位置づけが掴めます。
コメント
コメントにはログインが必要です