論文解説: Metis — 記憶を外付けせず、モデルの中に住まわせる「Memory Foundation Model」

AIエージェントの記憶は今もRAGなどの「外付け」が主流。この論文は記憶をモデル本体の順伝播に内蔵する Memory Foundation Model を提唱し、初のプロトタイプ Metis を提案する。覚える・忘れる・更新するを勾配なしのforward計算だけで実行する仕組みと、その実力・限界を1から解説。

Metis: Memory Foundation Model

AIの記憶は、いまだに「外付けメモ帳」

抜群に頭の切れる同僚がいるのに、会議が終わるたびに記憶が消えてしまう——今のLLMはそういう存在です。そこで現場では、過去のやり取りをテキストとして保存しておき、次の会話の冒頭に「前回までのあらすじ」として貼り付ける方法（RAG: 検索拡張生成）が使われてきました。いわば付箋だらけのメモ帳を毎回読み返してから話し始めるやり方です。

人間の記憶はそうなっていません。経験は脳の配線そのものに染み込み、思い出す作業と考える作業は分かれていません。この論文「Metis: Memory Foundation Model」（MemTensor・中国人民大学・シンガポール国立大学ほか、2026年7月公開）は、この「染み込む記憶」をLLMに実装しようという試みです。論文はこれを memory foundation model（記憶基盤モデル） と名付け、初のプロトタイプ Metis を提案しています。

外付け記憶の3つの限界

論文はまず、既存の外部メモリ方式の限界を3つ挙げます（§1）。

1. 目標がバラバラ: 外部メモリの仕事は「役立ちそうな文脈を作ること」、モデル本体の仕事は「与えられた文脈で続きを書くこと」。両者は別々に設計されるので、メモリ側が本当に推論へ役立つ情報を渡せる保証がなく、モデル側もそれを最適に使えるとは限らない。
2. end-to-endで鍛えられない: 「検索する・切り貼りする」といった離散的な操作には勾配が流れないため、記憶の使い方をタスクの成績から逆算して学習させるのが難しい。
3. 遅い: 検索・並べ替え・結合という追加処理が毎回走るので、応答までの時間が延びる。

これに対して論文が提案するネイティブ記憶は、次の2つの要素で定義されます（§2）。

• ネイティブ記憶状態（native memory state）: モデルのパラメータの一部として存在し、対話をまたいで持続・進化する記憶の「置き場」。
• ネイティブ記憶手続き（native memory procedure）: 覚える・忘れる・更新するといった操作を、外部ツールではなくモデルの順伝播そのもので自律的に実行する仕組み。

面白いのは記憶の定義の厳しさです。論文では、対話が始まる前から知っている情報は「知識」であって記憶ではなく、対話中にオンラインで得た情報だけを記憶と呼びます（§2.2）。さらに論文は、記憶とは本質的に「いま受け取った情報が将来どう使われるかを予測する問題」だと位置づけます（§1）。予測問題なら、他の能力と同じように訓練で獲得できるはず——これがこの研究の根っこにある発想です。

記憶の照合の土台になるのは、Transformerでもおなじみのベクトルの内積です。まずはその感覚を思い出しておきましょう。

Metisの解剖: 2種類のブロックが記憶を担う

Metisは、Transformerの各層に Metisブロック を追加します。中身は2つです（§3.2）。

• local memory block（ローカル記憶ブロック）: 記憶の実体。固定サイズの行列 $\mathbf{M}_t \in \mathbb{R}^{d_k \times d_v}$ と正規化用ベクトル $\mathbf{S}_t$ を持ち、これらだけが対話ステップ $t$ ごとに書き換わる「動的パラメータ」です。初期値はゼロ行列。
• hyper memory block（ハイパー記憶ブロック）: 記憶の書き込み係。どのトークンを重要とみなすかを採点する重要度ベクトルと、選んだ情報を記憶用のキー・値・クエリに変換する射影行列を持ちます。こちらは訓練後は凍結され、対話中は変化しません。

つまり「何をどう覚えるかのルール」は訓練で焼き込み、「実際に覚えた中身」だけが実行時に動く、という分担です。