#speculative-decoding

2 記事

01 ·推論・高速化·★ 会員·論文·14分で読めます 論文解説: Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training — 122B・256Kトークンで下書きモデルを方針と一緒に学習させる Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training RL学習の時間を食うロールアウト生成を投機的デコーディングで速くし、下書きモデルを方針と一緒に学習し続ける。NVIDIAがコンテキスト並列とパイプライン並列の2つの壁をどう越えたかを、論文本文に沿って1から解説。 02 ·推論・高速化·無料·論文·11分で読めます 投機的デコーディングを1から解説 — 小さな下書きモデルで、出力を一切変えずにLLMを速くする Fast Inference from Transformers via Speculative Decoding 小型モデルに数トークン先まで下書きさせ、大型モデルが一括検証する「投機的デコーディング」。出力分布を数学的に変えないまま2〜3倍速くなる仕組みを、採択率αの直感とともに原論文から解説する。