projection

定義

高い次元のベクトルを、行列をかけるなどして別の（多くはより低い）次元の空間へ写す操作。可視化では2次元へ落とす手段として、モデル内部では埋め込みの幅をそろえたり注意機構のQ/K/Vを作ったりする層として現れる。写す時点で必ず情報が落ちるため、何を残したいかが設計の焦点になる。

論文題名での読み方

次元を落とす操作

この語が出てくる解説

• 教師なし学習を1から — クラスタリングと次元削減UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction