serving

定義

学習済みモデルを実際に動かして外部からの要求に応答させる運用側の工程を指す語。バッチ処理やKVキャッシュ管理で遅延とスループットを稼ぐ工学が中心で、精度ではなく単位ハードウェアあたりの処理量が評価軸になる。学習側とは求められる最適化が別物。

論文題名での読み方

推論の運用側の話

この語が出てくる解説

• LLMサービングを1から — vLLM・連続バッチングで、GPUを遊ばせないEfficient Memory Management for Large Language Model Serving with PagedAttention
• 論文解説: FreeToken — 手元のPCを「一台の推論基盤」として使い切る帯域適応型MoEサービングFreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution
• 論文解説: CodeNib — コーディングエージェントにリポジトリの文脈を「配膳」する多ビューデータシステムCodeNib: A Multi-View Data System for Serving Repository Context to Coding Agents