write-head

書き込みヘッド。注意機構のKV側の頭

1本の論文題名に登場

定義

注意機構において鍵と値を書き出す側の頭を指し、Multi-Query Attentionの「書き込みヘッドは1つで足りる」という主張の中心語。問い合わせ側は複数のまま鍵・値を全ヘッドで共有すると、生成時のKVキャッシュが頭の数だけ減り、帯域律速の復号が速くなる。後のGrouped-Query Attentionにつながる発想。

論文題名での読み方

MQAの由来。KVを1つに

この語が出てくる解説

Attentionの変種図鑑 — MQA・GQA・スライディング窓・線形注意Fast Transformer Decoding: One Write-Head is All You Need