inference

定義

学習済みモデルに入力を与えて出力を得る実行フェーズを指す語。総計算量では学習を上回ることが多く、遅延・スループット・コストの最適化対象になる。統計学の「推測」も同じ綴りだが、機械学習の実務では実行時処理を指すのが普通。

論文題名での読み方

学習と対の「実行時」

この語が出てくる解説

• 投機的デコーディングを1から解説 — 小さな下書きモデルで、出力を一切変えずにLLMを速くするFast Inference from Transformers via Speculative Decoding