block-wise

ブロック単位で。塊ごとに区切って処理する

1本の論文題名に登場

定義

テンソルを固定長のブロックに区切り、ブロックごとに独立して処理・スケーリングする方式。量子化では外れ値の影響をそのブロック内に閉じ込められるため、テンソル全体で1つのスケールを共有する方式より精度低下が小さい。8ビット最適化器のように、状態量を圧縮しつつ学習を安定させる用途で使われる。

行列を塊に分ける