decoding

定義

モデルが出す次トークンの確率分布から、実際の文字列を選び出す手続きを指す語。貪欲法・ビーム探索・温度付きサンプリングなどの選び方で出力の質と多様性が大きく変わり、重みを変えずに挙動を調整できる数少ない手段になっている。学習ではなく生成時の処理である点が要点。

論文題名での読み方

生成時の手順

この語が出てくる解説

• Attentionの変種図鑑 — MQA・GQA・スライディング窓・線形注意Fast Transformer Decoding: One Write-Head is All You Need
• 論文解説: Interpretable MEG Decoding of Perceived Speech — 脳磁図から「聞いた音声」を当てるAIの中身を、脳地図として読むInterpretable MEG Decoding of Perceived Speech: Cortical Sources and the Stimulus Features That Drive Retrieval
• 投機的デコーディングを1から解説 — 小さな下書きモデルで、出力を一切変えずにLLMを速くするFast Inference from Transformers via Speculative Decoding