flashattention-

FlashAttentionに番号が続く形（-2/-3）

1本の論文題名に登場

定義

FlashAttention に世代番号が続く形で、-2 や -3 のような改良版を指す。注意計算をタイル分割し、巨大な中間行列を主記憶に書き出さずに済ませることで高速化とメモリ削減を両立させた実装。近似ではなく厳密に同じ結果を返す点が、疎な注意などとは根本的に異なる。

改良版の連番を表す