multi-query

複数クエリで1組のKVを共有する方式

2本の論文題名に登場

定義

Multi-Query Attention(MQA)のこと。クエリのヘッドは複数のまま、キーとバリューだけを全ヘッドで一組に共有する注意機構。読み書きするKVキャッシュが大きく減り、メモリ帯域が律速になる逐次生成が速くなる一方、品質の低下が報告され、その折衷として GQA が使われる。

MQA。推論を軽くする