GLOSSARY

gqa

Grouped-Query Attention。クエリを束ねる注意

2本の論文題名に登場

定義

Grouped-Query Attention の略。注意ヘッドをいくつかの組に分け、組の中でキーとバリューを共有することで、生成時に保持するKVキャッシュを削減する仕組み。ヘッドごとに個別に持つ MHA と、全ヘッドで一組だけ共有する MQA の中間にあたり、品質の低下を抑えつつ推論を軽くできるため広く採用されている。

論文題名での読み方

略語。高速化の注意機構