speculative

定義

安価な方法で先回りして予測し、後から検証して当たった分だけ得をする方式。代表例の speculative decoding は、小さなドラフトモデルが数トークン先まで書き、大きなモデルが一括で検証して外れた地点から書き直す。検証が入るため出力の分布は元のモデルと変わらず、速度だけが上がる。

論文題名での読み方

speculative decoding＝高速化

この語が出てくる解説

• CPUパイプラインと分岐予測 — 1クロックの中の工場Spectre Attacks: Exploiting Speculative Execution
• 投機的デコーディングを1から解説 — 小さな下書きモデルで、出力を一切変えずにLLMを速くするFast Inference from Transformers via Speculative Decoding