体系 › LLM — 大規模言語モデル
·★ 会員·論文·12分で読めます

論文解説: Just-in-Time Memory — エージェントの記憶は「読むとき」に整える

LLMエージェントの過去経験を、保存時ではなく「次の課題が分かった瞬間」に要約し直す JitMem を1から解説。なぜ学習が簡単になるのか、どの数字がどこまで言えるのかを論文本文に沿って整理する。

要点

  • JitMem は、記憶の整理を書き込み時でなく読み出し時まで遅らせ、生の軌跡をそのまま保存する手法である。
  • 書き込み時の要約は、情報を取り返しのつかない形で捨て、要約も問いに依存しない汎用品になる。
  • キュレーターは、いまの課題と検索された軌跡からその課題専用の簡潔な情報パックを作る。
  • 情報パックは同じ課題で使われるため、キュレーターはその課題の成否から直接学習できる。
  • ALFWorld・WebShop・τ²-bench で、最強ベースラインを成功率 16.2・16.3・3.9 ポイント上回った。
#llm-agents#memory#reinforcement-learning#grpo#evaluation
対象textタスクevaluation

Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents

一次資料 — この記事の根拠

論文の発表 2026-09-23→この解説の公開 2026-09-27同月

Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM AgentsYefan Zhou, Yang Li, Zeyu Leo Liu ほか · 2026-09-23 · v1arXiv:2609.27334論文ページ·PDF
原文の要旨（Abstract）を読む

Agentic memory systems reuse past experience to improve future performance, yet most existing designs curate memory at write time: once a task is completed, its trajectory is distilled into a fixed artifact, such as a reflection, workflow, skill, or reasoning strategy, that is later retrieved by similarity. This forces the system to decide what is worth remembering before the future query is known, irreversibly discarding information and producing a query-independent summary that must serve many possible downstream tasks. Learning such a write-time curator is also difficult because the value of a storage decision may only become apparent when a relevant query arrives, potentially many tasks later, creating a long-horizon credit-assignment problem. We instead retain raw trajectories and defer curation until read time, when the current task is known. Given the retrieved traces and the new task, a memory curator synthesizes a compact, task-adaptive payload tailored to the immediate need. Because this payload is consumed on the same task, the curator can be trained directly from immediate task success, avoiding delayed utility signals and the need to artificially group related tasks. Across ALFWorld, WebShop, and $τ^2$-bench, our Just-in-Time Memory (JitMem) consistently outperforms no-memory agents as well as heuristic and learned write-time memory methods, improving over the strongest baseline by 16.2, 16.3, and 3.9 absolute success-rate points, respectively. Notably, even an untrained curator is already competitive with or surpasses these baselines, showing that task-adaptive read-time curation itself is a major source of the gain; training the curator further compounds the improvement.

この論文は何を言っているのか

今回読むのは、2026年9月に arXiv に公開された論文 "Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents"（Yefan Zhou, Yang Li, Zeyu Leo Liu, Semih Yavuz, Shafiq Joty）です。提案手法は JitMem と呼ばれます。

アブストラクトの主張を日本語でまとめると、次のとおりです。過去の経験を再利用するエージェント用メモリの多くは、書き込み時に記憶を整える。課題が終わるたびに、その軌跡（行動と観測の記録）を「反省文」「ワークフロー」「スキル」「推論戦略」といった固定の成果物に要約し、後で類似度検索で取り出す。すると、将来どんな問いが来るか分からないうちに何を残すかを決めることになり、情報は取り返しのつかない形で捨てられ、要約は問いに依存しない汎用品になってしまう。さらに、保存の判断が良かったかどうかは、ずっと後に関連する課題が来て初めて分かるため、学習では長い時間差の貢献度割り当て（credit assignment）問題が生じる。そこで著者らは、生の軌跡をそのまま保存し、整える作業を読み出し時まで遅らせる。いま解く課題と検索された軌跡を見て、キュレーター（記憶を整えるモデル）がその課題専用の簡潔な情報パック（payload）を作る。これは同じ課題ですぐ使われるので、キュレーターはその課題の成否から直接学習できる。ALFWorld・WebShop・τ²-bench で、最も強いベースラインをそれぞれ成功率 16.2・16.3・3.9 ポイント上回り、未学習のキュレーターでも既存手法と互角以上だった、というのが要旨です。

比喩: 旅行の「しおり」はいつ作るか

旅行の多い人を想像してください。旅が終わるたびに「この旅の教訓」を3行にまとめ、元の写真やメモは捨てる人がいます。次の旅行前にはその3行メモを読み返します。これが書き込み時キュレーションです。

問題は、3行メモを書いた時点では次の旅行先が分からないことです。京都旅行の記録から「寺は朝に行け」とだけ残したら、次が「京都で子連れの食事処を探す」旅だったとき、本当に欲しかった「駅の授乳室の位置」は既に捨てられています。

もう1人は、写真もメモも全部残しておき、次の行き先が決まってから過去の記録を読み返し、今回用のしおりを1枚作ります。同じ京都の記録から、ある旅では寺の回り方を、別の旅では食事処の情報を抜き出せます。これが JitMem の 読み出し時キュレーションです。

直感: 違いは「要約のタイミング」だけ

2つの方式は、使っている部品はほとんど同じです。検索器があり、要約するLLMがあり、課題を実際に解くLLM（論文では executor＝実行役と呼びます）がいます。違うのは、要約が課題を知る前に行われるか、課題を知った後に行われるかです。

論文の §1 は、書き込み時要約のコストを2つに整理しています。1つは、捨てた情報を後から取り戻せないこと。もう1つは、1つの固定された要約が、将来の様々な課題すべてに使い回されること。例として、家事シミュレーションの1つの軌跡が、ある課題には「物を温める・冷やす」という状態変化の手順を、別の課題には「物をどこに置くか」の手順を教えうる、と書かれています。1つの記録には複数の教訓が入っていて、どれが役立つかは後の課題次第だ、というのが出発点です。

まず「検索」の段を体感しておきましょう。下の図は埋め込みベクトルでの検索ですが、論文自体は課題説明文に対する BM25（単語の重なりに基づく古典的な検索）を使っています（§3）。著者らは検索器に制約はないと述べているので、ここでは「過去の記録から上位 k 件が選ばれる」という段の動きだけを見てください。

FIG 1問い（クエリ）を動かすと、上位k件に選ばれる過去記録の顔ぶれが入れ替わる。JitMemはこの k 件（論文の主実験では k=3）を生のまま要約役に渡す

仕組み: 4つの段

§3 では、課題が1つずつ順番に届く「ストリーミング」設定を考えます。時刻 tt の課題を xtx_t、そのとき解いた記録（観測と行動の交互の列）を ξt\xi_t、成否の報酬を rt∈[0,1]r_t \in [0,1] とします。部品は、メモリバンク Mt\mathcal{M}_t、検索器 R\mathcal{R}、キュレーター πϕ\pi_\phi、凍結された実行役 πL\pi_L の4つで、学習するのはキュレーターだけです。

ξ^t=R(xt,Mt),pt=πϕ(xt,ξ^t),(ξt,rt)=πL(xt,pt)\hat{\xi}_t = \mathcal{R}(x_t, \mathcal{M}_t), \quad p_t = \pi_\phi(x_t, \hat{\xi}_t), \quad (\xi_t, r_t) = \pi_L(x_t, p_t)
(1)

言い換えると、①いまの課題 を手がかりにバンクから過去の生記録 を上位 k 件取り出し、②キュレーターが「課題」と「記録」を両方読んで、この課題専用の要約 を書き、③実行役がその要約を読みながら課題を解いて、記録 と報酬 が得られる、という流れです。最後に④更新として、実行役自身を審判（LLM-as-judge）にして「成功した」と判定された記録だけをバンクに追加します。…

この先にあるもの

§

ここから先は会員限定です

解説記事449本・教科書42章・学生モード48単元・論文精読6本が、月額¥490ですべて読み放題になります。新しい解説は1日あたり平均3本ほど増えます。いつでも解約でき、解約後も期間の終わりまで読めます。

会員の方はログインすると続きが表示されます

参考文献

  1. Yefan Zhou, Yang Li, Zeyu Leo Liu, Semih Yavuz et al.. (2026-09-23) Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents. arXiv:2609.27334論文ページ·PDF

本記事は上記論文の本文にもとづいて執筆しています。数値・主張は原典を優先してください。

運営: TechAthletes · 編集方針 · 出典の付け方 · 訂正の記録

コメント

コメントにはログインが必要です