management

定義

限られた資源をどう配分し回収するかという運用の工夫を指す語。推論では KV キャッシュ管理やメモリ管理、エージェントでは文脈管理として現れ、モデルの賢さではなくシステム側の設計で性能とコストを変える部分を指す。アルゴリズムの新規性より運用の効率が主題であることを示す合図でもある。

論文題名での読み方

メモリ管理などの管理

この語が出てくる解説

• LLMサービングを1から — vLLM・連続バッチングで、GPUを遊ばせないEfficient Memory Management for Large Language Model Serving with PagedAttention