internal

定義

内部の。モデルやシステムの内側で起きる現象に付き、入力や出力といった外から見える部分と区別する。要となる複合語は internal covariate shift で、学習が進んで前段の層が更新されるたびに、後段の層から見た入力分布が動いてしまう現象を指す。外部環境が原因の分布シフトとは、原因も対処も違う。

論文題名での読み方

内部共変量シフト

この語が出てくる解説

• 正規化レイヤー全史 — BatchNormからRMSNormまでBatch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift