memory-efficient

メモリ使用量が少ない

2本の論文題名に登場

定義

同じ計算を、より少ないメモリで行うこと。GPU のメモリ容量が扱えるモデルサイズや文脈長の上限を直接決めるため、勾配チェックポイント、量子化、活性値の再計算、KVキャッシュの圧縮などがこの旗印で提案される。多くの場合メモリ削減は計算量の増加と引き換えなので、省メモリ化が速度向上を意味するとは限らない点に注意。

論文題名での読み方

省メモリを売りにする語

この語が出てくる解説

FlashAttentionを1から — 計算を増やして速くする逆説FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
GPUのメモリ階層 — HBM・SRAM・レジスタと「移動が支配する」現実FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness