memory

定義

モデルが過去の情報を保持し、後の処理で参照できるようにする仕組み。文脈窓に収まらない内容を外部に置いて検索する方式や、状態として持ち越す方式がある。GPU の記憶容量を指す用法と紛らわしいので、文脈窓・外部記憶・ハードウェアのどれを指すかを見極める必要がある。

論文題名での読み方

文脈を保つ機構

この語が出てくる解説

• 論文解説 Beyond Retrieval — 取り出した映像を「潜在メモリ」に取り込むLatentStreamBeyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding
• 論文解説: VoiceMem — 音声対話に「左脳と右脳」の記憶を、遅延ゼロでVoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction
• LLMサービングを1から — vLLM・連続バッチングで、GPUを遊ばせないEfficient Memory Management for Large Language Model Serving with PagedAttention

教科書で学ぶ

• メモリの階層と「メモリの壁」