論文解説 Beyond Retrieval — 取り出した映像を「潜在メモリ」に取り込むLatentStream
流れ続ける動画に対し、過去の証拠を外部コンテキストとして足すのではなく、固定長の潜在メモリトークンへ内面化する枠組みLatentStream。階層メモリ・潜在メモリ進化・自信ベースのテスト時最適化を、論文本文に沿って1から解説する。
Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding
一次資料 — この記事の根拠
論文の発表 2026-09-03→この解説の公開 2026-09-08同月
Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video UnderstandingHongyu Qu, Guangming Yao, Ling Xing ほか · 2026-09-03 · v1arXiv:2609.04131論文ページ·PDF原文の要旨（Abstract）を読む
Streaming video understanding requires multimodal large language models (MLLMs) to process continuous visual inputs and respond to user queries under strict causality and bounded memory. Existing approaches typically compress historical observations into an external memory bank and retrieve query-relevant evidence as additional visual context. Though effective, this store-and-retrieve paradigm keeps historical evidence as external visual context, preventing it from being internalized into a compact, evolving latent memory that can continuously guide streaming reasoning. To bridge this gap, we introduce LatentStream, a progressive latent working memory framework that shifts streaming memory from store-and-retrieve to retrieve-and-internalize. Specifically, LatentStream comprises three coordinated components. First, Query-agnostic Hierarchical Streaming Memory organizes visual history into short-, mid-, and long-term levels under a fixed memory budget through Jenks-guided adaptive consolidation. Once a query arrives, Hierarchical Latent Memory Evolution equips groups of latent memory tokens with progressively expanding memory receptive fields, enabling them to iteratively retrieve historical evidence from their corresponding scopes and internalize it into a compact, fixed-length latent memory. Finally, Progressive Confidence-guided Latent Memory Optimization constructs a hierarchical progression reward from group-wise predictive entropy and jointly refines the latent memory tokens and retrieved evidence, encouraging increasingly confident streaming reasoning. Extensive experiments demonstrate that LatentStream achieves new state-of-the-art results on existing online and offline video benchmarks.
この論文が置かれている場所
原題は "Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding"（arXiv:2609.04131v1 [cs.CV]、2026年9月3日公開）。著者はHongyu Quらで、南京理工大学・Ant Group・シンガポール国立大学・香港中文大学の共同研究です。
要旨を日本語でまとめると、こうなります。ストリーミング動画理解では、マルチモーダル大規模言語モデル（MLLM）が途切れなく届く映像を処理し、いつ飛んでくるか分からない質問に、因果性（まだ見ていない未来を覗かない）と有限メモリという制約のもとで答える必要があります。既存手法はたいてい、過去の観測を圧縮して外部のメモリバンクに貯め、質問が来たら関連する証拠を取り出して視覚コンテキストに足します。論文はこの「store-and-retrieve（貯めて取り出す）」方式が、取り出した証拠を外部の視覚コンテキストのまま扱っている点を問題視します。証拠が、推論を継続的に導けるような「コンパクトで進化し続ける潜在メモリ」へ内面化されないからです。そこで提案されるのが LatentStream。「retrieve-and-internalize（取り出して取り込む）」へ舵を切る枠組みで、階層的ストリーミングメモリ、階層的潜在メモリ進化、自信の進行度で導くテスト時最適化という3部品からなり、オンライン／オフライン双方の動画ベンチマークで新たな最高性能を達成した、と主張しています。
比喩: 監視カメラ室の新人が上達する瞬間
長時間の監視映像を見張る新人を想像してください。最初のうちは、質問されるたびに録画を巻き戻して該当シーンを探し、画面を指さして「これです」と答えます。これが store-and-retrieve です。答えは出ますが、探した映像はその場限りの参照物で、頭の中には何も残りません。
熟練者は違います。何度も見返すうちに「この時間帯は搬入口が混む」「あの人物は毎回同じ動線を通る」といった要約が頭の中の作業記憶として定着し、次に何を見に行けばよいかまで決まります。映像そのものではなく、映像から抽出した状態を持っている。LatentStream がやろうとしているのは、この後者への移行です(§1)。
「取り出す」だけでは足りない、という論点
論文の主張の核は、既存研究が どの履歴にアクセスするか を扱う一方で、アクセスした証拠をどう潜在状態へ内面化するか はほぼ未開拓だ、という指摘です(§1)。結果として、質問に依らない（query-agnostic な）ストリーミングメモリと、質問に条件づけられた推論とが緩く結合したままになっている、と述べられています。
言い換えると、従来の枠組みでは記憶と推論のあいだに橋がありません。質問のたびに外部から証拠を引いてきて本文に貼り付け、答えたら捨てる。次の質問はまたゼロから同じことをやり直します。論文が「モデルの潜在空間こそがこの隙間を埋める自然な土台だ」と述べるのは、この繰り返しを断ち切るためです。
「取り出す」側の仕組み自体は、埋め込み同士の類似度で上位を選ぶ、RAGの基礎と同じ発想です。まずはその手触りを掴んでおくと、この先の話が読みやすくなります。
部品1: 質問が来る前に作る階層メモリ（HSM）
Query-agnostic Hierarchical Streaming Memory(§3.2) は、メモリを の短期・中期・長期に分けます。届いたばかりの視覚トークンは、細部を保つためまず短期へ密に格納されます。
面白いのは、あふれた分を下の階層へ送る判定です。論文は地図の階級区分に使われる Jenks Natural Breaks（Jenks and Caspall, 1971）を持ち出し、固定のしきい値ではなくいま観測されているスコア分布そのものから区切りを決めます。短期→中期は時間的重要度スコアの3クラス分割で Drop／Compress／Preserve へ振り分け(式1)、中期→長期は距離 の2クラス分割で、低距離側（＝空間的に冗長）を統合します。この階層は質問が来る前に、完全にオンラインで構築されます。だから query-agnostic なのです。
コメント
コメントにはログインが必要です