projections

射影（複数）。線形変換

1本の論文題名に登場

定義

ベクトルを別の空間へ写す線形変換のこと。Transformer では入力表現に重み行列を掛けてクエリ・キー・値を作る部分がこれにあたり、複数のヘッドはそれぞれ異なる射影を持つ。次元を落として圧縮する用途にも、画像と言語のように異なるモダリティの表現を共通空間へ揃える用途にも使われる。

Q/K/Vを作る変換