#loss-scaling

1 記事

01 ·学習手法・アライメント·★ 会員·論文·14分で読めます 混合精度学習 — fp16/bf16/fp8で壊れずに速くする Mixed Precision Training 同じモデルを半分のビット数で学習させると、速くなる代わりに勾配が0やinfに化けます。壊れ方の正体（アンダーフローとオーバーフロー）から出発し、loss scalingが何をしている一手なのか、bf16はなぜそれを不要にしたのか、fp8で何が戻ってきたのかを順に。最後はPyTorch AMPの設定と、クリップ順序を間違えて静かに事故る典型例まで。