用語集 › sinks
GLOSSARY
sinks
吸い込み先。注意が集中して溜まるトークン
2本の論文題名に登場
定義
注意の重みが内容と関係なく集中して溜まる特定のトークンを指す語で、attention sink と呼ばれる。系列先頭のトークンがこの役割を担うことが多く、注意機構が「どこにも配りたくない」重みの捨て場として使っていると解釈される。これを捨てると長文脈のストリーミング推論で品質が急落するため、先頭数トークンを常に残す実装がある。
論文題名での読み方
attention sinkの話