用語集 › io-awareness
GLOSSARY
io-awareness
入出力（メモリ転送）を意識すること
2本の論文題名に登場
定義
演算そのものではなく、メモリ階層間のデータ移動(入出力)を考慮して設計する考え方。現代のアクセラレータでは高帯域メモリとの往復が律速になることが多く、どこに何を置き何回読み書きするかを数えて最適化する。FlashAttention の設計原理として広まった視点。
論文題名での読み方
データ移動への配慮
この語が出てくる解説
- FlashAttentionを1から — 計算を増やして速くする逆説FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
- GPUのメモリ階層 — HBM・SRAM・レジスタと「移動が支配する」現実FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness