traffic

定義

システムに実際に届くリクエストや通信の流量のこと。実運用の評価では、平均だけでなく時間帯による変動や突発的な集中が設計を左右し、推論サービスでは到着間隔と入力長の分布がバッチ処理やスループットの設計に直結する。合成した負荷ではなく実トラフィックでの計測は、評価の信頼性を大きく高める。

論文題名での読み方

実運用の負荷

この語が出てくる解説

• 論文解説: 本番トラフィックから事後学習へ — 社内200アプリを1つの自前LLMに寄せるFrom Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix