request

定義

推論サービスに届く1件の問い合わせのこと。サービング研究ではリクエスト単位で遅延・スループット・コストを測り、到着時刻や入出力長のばらつきをどう捌くかがバッチ処理やスケジューリングの設計課題になる。学習ではなく運用側の語彙。

論文題名での読み方

推論1件＝1リクエスト

この語が出てくる解説

• 論文解説: 本番トラフィックから事後学習へ — 社内200アプリを1つの自前LLMに寄せるFrom Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix