学生版 社会人版
JA EN

#offloading

1 記事

01 ·推論・高速化·★ 会員·論文·15分で読めます GPUメモリ不足サバイバル — OOMの原因と対処の全パターン Training Deep Nets with Sublinear Memory Cost `CUDA out of memory` は、最後に失敗した確保だけを報告する不親切なエラーです。犯人はたいてい、すでに載っている側にいます。何がVRAMを食うのかを5つの箱に分けて数え、パラメータ1個あたり16バイトという学習の固定費を出し、そこから勾配チェックポイント・オプティマイザ圧縮・オフロード・KVキャッシュ管理・断片化まで、打ち手を副作用の小さい順に。