blockwise

ブロック単位で。区切ってまとめて処理する

1本の論文題名に登場

定義

系列や行列を小さなブロックに区切り、ブロック単位でまとめて処理する方式。注意機構では長さの二乗に比例する巨大な行列を一度に作らず、ブロックごとに計算して逐次的に集約するため、メモリ使用量を劇的に減らせる。FlashAttention や Ring Attention はいずれもこの考え方を土台にしている。

論文題名での読み方

分割処理の方式