2026-08-13·無料·論文·11分で読めます

論文解説: Metis — 記憶を外付けせず、モデルの中に住まわせる「Memory Foundation Model」

AIエージェントの記憶は今もRAGなどの「外付け」が主流。この論文は記憶をモデル本体の順伝播に内蔵する Memory Foundation Model を提唱し、初のプロトタイプ Metis を提案する。覚える・忘れる・更新するを勾配なしのforward計算だけで実行する仕組みと、その実力・限界を1から解説。

要点

従来のRAGなど外部メモリは、過去の対話を文章として保存し、次の会話の冒頭に貼り付ける方式である。
論文は、記憶をモデルのパラメータの一部とし、順伝播だけで覚える・忘れる・更新するネイティブ記憶を提案する。
Metisは記憶行列を持つlocal memory blockと、訓練後に凍結されるhyper memory blockを使う。
Metis-27Bは文脈なしで26.74点で、Temp-LoRAの4.24〜11.72点を上回る。
弱点として、記憶容量の限界があり、無関係な記憶後はIFEvalが22.18ポイント低下する。

#agents #memory #llm #transformer #paper

対象textタスクagents

Metis: Memory Foundation Model

一次資料 — この記事の根拠

論文の発表 2026-07-29→この解説の公開 2026-08-13同月

Metis: Memory Foundation ModelZeyu Zhang, Ziliang Guo, Yihang Sun ほか · 2026-07-29 · v2arXiv:2607.26760論文ページ·PDF

原文の要旨（Abstract）を読む

Recent advances in AI agents have increasingly internalized native capabilities into their underlying foundation models, giving rise to multimodal foundation models and large reasoning models. However, agent memory is still primarily implemented through external modules, leaving the native memory capability largely unexplored. In this paper, we take a first step toward this direction by introducing memory foundation models, which empower foundation models with native memory capabilities. We formalize native memory from two perspectives: a persistent and dynamically evolving memory state within the backbone, and native memory procedures that autonomously store and utilize information through model computation. We show that native memory offers advantages in architecture, end-to-end optimization, and efficiency. Based on this formulation, we propose Metis, the first prototype of memory foundation models. Metis introduces a new architecture that equips a foundation model with a native memory state, allowing historical information to be compressed into the model and accessed through memory attention. We construct large-scale memory-specific training data and introduce multiple optimization objectives to acquire these native memory procedures through mid-training. The online memory maintenance of Metis is gradient-free, and the memory update requires only a forward pass. At inference time, all learned model weights remain frozen, while the native memory states are autonomously transformed through standard forward computation. Through extensive experiments, we show that Metis exhibits native memory capabilities and further provide a detailed analysis of its strengths, limitations, and behaviors. To facilitate future research on memory foundation models, we release our project and model checkpoints.

AIの記憶は、いまだに「外付けメモ帳」

抜群に頭の切れる同僚がいるのに、会議が終わるたびに記憶が消えてしまう——今のLLMはそういう存在です。そこで現場では、過去のやり取りをテキストとして保存しておき、次の会話の冒頭に「前回までのあらすじ」として貼り付ける方法（RAG: 検索拡張生成）が使われてきました。いわば付箋だらけのメモ帳を毎回読み返してから話し始めるやり方です。

人間の記憶はそうなっていません。経験は脳の配線そのものに染み込み、思い出す作業と考える作業は分かれていません。この論文「Metis: Memory Foundation Model」（MemTensor・中国人民大学・シンガポール国立大学ほか、2026年7月公開）は、この「染み込む記憶」をLLMに実装しようという試みです。論文はこれを memory foundation model（記憶基盤モデル） と名付け、初のプロトタイプ Metis を提案しています。

外付け記憶の3つの限界

論文はまず、既存の外部メモリ方式の限界を3つ挙げます（§1）。

目標がバラバラ: 外部メモリの仕事は「役立ちそうな文脈を作ること」、モデル本体の仕事は「与えられた文脈で続きを書くこと」。両者は別々に設計されるので、メモリ側が本当に推論へ役立つ情報を渡せる保証がなく、モデル側もそれを最適に使えるとは限らない。
end-to-endで鍛えられない: 「検索する・切り貼りする」といった離散的な操作には勾配が流れないため、記憶の使い方をタスクの成績から逆算して学習させるのが難しい。
遅い: 検索・並べ替え・結合という追加処理が毎回走るので、応答までの時間が延びる。

これに対して論文が提案するネイティブ記憶は、次の2つの要素で定義されます（§2）。

ネイティブ記憶状態（native memory state）: モデルのパラメータの一部として存在し、対話をまたいで持続・進化する記憶の「置き場」。
ネイティブ記憶手続き（native memory procedure）: 覚える・忘れる・更新するといった操作を、外部ツールではなくモデルの順伝播そのもので自律的に実行する仕組み。

面白いのは記憶の定義の厳しさです。論文では、対話が始まる前から知っている情報は「知識」であって記憶ではなく、対話中にオンラインで得た情報だけを記憶と呼びます（§2.2）。さらに論文は、記憶とは本質的に「いま受け取った情報が将来どう使われるかを予測する問題」だと位置づけます（§1）。予測問題なら、他の能力と同じように訓練で獲得できるはず——これがこの研究の根っこにある発想です。

記憶の照合の土台になるのは、Transformerでもおなじみのベクトルの内積です。まずはその感覚を思い出しておきましょう。

FIG 12本のベクトルの向きが揃うほど内積は大きくなる。Metisは「いまの質問」と「記憶に刻んだキー」の内積の大きさで、どの記憶を読み出すかを決める

Metisの解剖: 2種類のブロックが記憶を担う

Metisは、Transformerの各層に Metisブロック を追加します。中身は2つです（§3.2）。

local memory block（ローカル記憶ブロック）: 記憶の実体。固定サイズの行列 $\mathbf{M}_t \in \mathbb{R}^{d_k \times d_v}$ と正規化用ベクトル $\mathbf{S}_t$ を持ち、これらだけが対話ステップ $t$ ごとに書き換わる「動的パラメータ」です。初期値はゼロ行列。
hyper memory block（ハイパー記憶ブロック）: 記憶の書き込み係。どのトークンを重要とみなすかを採点する重要度ベクトルと、選んだ情報を記憶用のキー・値・クエリに変換する射影行列を持ちます。こちらは訓練後は凍結され、対話中は変化しません。

つまり「何をどう覚えるかのルール」は訓練で焼き込み、「実際に覚えた中身」だけが実行時に動く、という分担です。

覚える手順: 選んで、圧縮して、足し込む

あるステップの対話が終わると、Metisは次の流れで記憶を書き込みます（§3.3）。

まず各層の隠れ状態を重要度ベクトルで採点し、温度付きsoftmaxで「どのトークンが覚える価値があるか」の確率分布を作ります。そして確率の合計が閾値 $\rho$ に達するまで上位のトークンだけを選び抜きます。長い入力から要点だけを抜き出す圧縮工程です。

FIG 2Metisの記憶の選別で使われる温度付きsoftmax。温度τを下げると分布が尖り「ごく少数のトークンだけ覚える」、上げると平らになり「広く浅く覚える」挙動になる

選ばれたトークンは記憶用のキー $\tilde{\mathbf{K}}_t$ と値 $\tilde{\mathbf{V}}_t$ に射影され、記憶行列に足し込まれます。

\mathbf{M}_{t+1} = \lambda\,\mathbf{M}_{t} + \frac{1-\lambda}{L'_t}\cdot\frac{\tilde{\mathbf{K}}_t^{\top}\tilde{\mathbf{V}}_t}{\sqrt{d_k}}

(1)

言い換えると、新しい記憶＝古い記憶を少し薄めたもの＋今回の要点です。 $\lambda$ （割引率）は古い記憶をどれだけ残すか、 $L'_t$ は選ばれたトークン数、 $\tilde{\mathbf{K}}_t^{\top}\tilde{\mathbf{V}}_t$ は「キーと値の対応表」を1つの行列に押し込む操作です。実際のMetisでは、この単純な線形更新の代わりにGated Delta Network（GDN）ベースの更新（GDU）を採用したほうが性能が良かったと報告されています（§3.3）。

重要なのは、この更新がforward計算だけで完結することです。勾配計算もパラメータの学習も不要で、推論時は全ての学習済み重みが凍結されたまま、記憶状態だけが順伝播の中で書き換わっていきます（Abstract, §3.3）。

思い出す手順: memory attention

読み出しは memory attention と呼ばれる仕組みで行います（§3.3）。いまの入力から専用のクエリ $\tilde{\mathbf{Q}}_t$ を作り、記憶行列に直接掛けます。

\tilde{\mathbf{A}}_t = \mathrm{diag}\!\left(\tilde{\mathbf{Q}}_t\mathbf{S}_t\right)^{-1}\tilde{\mathbf{Q}}_t\,\mathbf{M}_t

(2)

言い換えると、質問ベクトルを記憶の対応表に照らして答えを引き出し、 $\mathbf{S}_t$ で目盛りを揃える操作です。式(1)で足し込んだキーと値の積に内積でアクセスするので、質問と似たキーで保存された値ほど強く読み出されます。この読み出し結果は、通常の自己注意の出力と混合比 $\gamma$ で足し合わされ、「いまの文脈を見る目」と「過去の記憶を見る目」の2本立てで次のトークンが決まります（§3.3, 式5）。

論文はさらに、このmemory attentionが「過去ステップの要約トークンを仮想的にプロンプト先頭へ付け足した注意計算」の近似であることを示し（§3.4）、固定サイズゆえの誤差がどれも「無関係なステップとの類似度」に比例することを導いています（§3.5）。専用クエリを学習させて無関係な記憶との類似度を下げる設計は、この分析が根拠です。効率面では、通常の注意・読み出し・書き込みは並列実行でき、記憶が固定サイズなので履歴が増えてもコストが対話回数に比例しない、と論文は主張します（§3.6）。

何を食べて「記憶の使い方」を学んだか

アーキテクチャだけでは記憶は動きません。論文は27の公開ベンチマークから、remember（覚える）・forget（忘れる）・update（更新する）・reflect（複数の事実を組み合わせる） の4操作を教える訓練データを合成しました。フィルタ後で357,137サンプル・約4.06億トークンです（§4.1）。さらに「似た事実同士の混同」や「関係ない会話に記憶が漏れ出す汚染」を防ぐための補助データを609,443サンプル追加しています（§4.2）。

訓練はmid-training（事前学習と応用の間の追加訓練）で行い、バックボーン（Qwen3.5系）は凍結したまま、記憶関連のパラメータだけを学習します。目的関数は、蓄えた情報を復元させる「再構成」、4操作を正しく実行させる「操作」、混同・汚染を抑える「正則化」の3本立てです（§5, §6.1）。

どこまで効くのか — 実験結果

評価の主戦場は「文脈なし」設定です。過去の情報を一切プロンプトに入れず、記憶状態だけで答えられるかを測ります（§6.2）。

素のQwen3.5は文脈なしだとほぼ全滅です。会話ベンチマークLoCoMo（Gold）の平均は27Bでも0.07点。答えが文脈にしかない以上、当然の結果です。
Metis-27Bは同じ文脈なしで26.74点まで回復します。Temp-LoRA（推論中にLoRAを学習する方式）のサイズ別4.24〜11.72点、 $\delta$ -Memの10.79点を上回ります。
記憶操作ベンチマークでは差がさらに広がり、Metisテストセットで73.77点。これはフル文脈を渡したQwen3.5-27Bの78.87点に迫る水準です。

ただし論文は、フル文脈を渡せる場合はそれが依然として最強である（LoCoMo (Gold)で65.03点）ことも隠していません。部品の貢献度を調べたアブレーションでは、「どのトークンを覚えるかの選別（adaptive aggregation）」を外すと総合性能が約61%落ちるのが最大で、記憶の質は「何を選んで書き込むか」でほぼ決まることが分かります（§6.3）。訓練データに使っていないOODベンチマークでも一定の転移を確認しています（§6.4）。

弱点も正直に書かれている

この論文の良心的なところは、限界の分析に紙幅を割いている点です。

容量の壁: 1回の書き込みに詰める情報量を増やすと精度が急落し、書き込み回数を重ねても古い情報から劣化していきます。固定サイズへの圧縮ゆえの損失です（§6.6）。
汎用能力への副作用: 記憶が空の状態では元モデルとほぼ同じ性能ですが、無関係な情報を記憶させた後だと一般タスクの成績が落ち、特に厳密な指示追従（IFEval）は22.18ポイント低下します（§6.7）。
応答の不整合: 「忘れて」と指示すると記憶状態は正しく消えるのに、その瞬間の返答では古い事実を繰り返してしまうケースが観察されています（§6.9）。
論文自身の結論として、ネイティブ記憶はまだ外部メモリの完全な代替ではなく、両者を組み合わせるハイブリッドが今後の方向だとしています（§8）。

現場ではこう使う

エージェント開発やLLM基盤を担当するエンジニアにとって、この論文は「記憶をどの層で持つか」の設計判断に直結します。

試すなら: コードとチェックポイントが公開されています（GitHub: MemTensor/Metis、Hugging Face: IAAR-Shanghai/metis）。バックボーンはQwen3.5の4B/9B/27B。触るパラメータは、古い記憶の残り具合を決める割引率 $\lambda$ 、通常注意と記憶注意の混合比 $\gamma$ 、書き込むトークンを選ぶ閾値 $\rho$ と温度 $\tau$ です。
効率の勘所: 記憶更新は勾配不要のforward 1回で、推論中にLoRAを学習するTemp-LoRAのような逆伝播コストがありません。記憶行列はSVDでランク64（フル1024次元）まで落としても回復率99.9%（§6.8）なので、ユーザーごとの記憶を低ランクで永続化する設計が現実的です。
事故になる落とし穴: ①長期運用で記憶は必ず劣化するので、監査ログや正確な履歴が必要な用途（規約・金額・医療情報など）を記憶状態だけに任せてはいけません。原文はRAG側に残すべきです。②無関係な記憶が溜まると指示追従が落ちる（§6.7）ため、セッション設計では記憶状態のリセット境界を明示的に決めること。③「忘れた直後の応答が古い事実を言う」不整合（§6.9）があるので、削除確認をユーザーに返すUIを記憶状態の内省に頼らせないこと。
面接で問われそうな問い: 「RAGとパラメトリック記憶のトレードオフは？」——鮮度と監査性ならRAG、レイテンシとend-to-end最適化ならネイティブ記憶、と本論文の§1と§8を軸に答えられれば筋が通ります。

外付け記憶の代表格の仕組みは RAGの基礎で解説しています。
記憶とよく混同される推論時の一時記憶については KVキャッシュを1から理解するを。
そもそもエージェントに記憶がなぜ要るのかは LLMエージェントを1から解説からどうぞ。