用語集 › thin
GLOSSARY
thin
薄い。層の幅が狭く細い構造
1本の論文題名に登場
定義
層あたりの幅、つまりチャネル数やユニット数が小さい構造を指す。thin and deep のように深さと対で使われ、同じパラメータ数を幅ではなく層数に振る設計方針を表す。計算量とメモリは減るが狭い層が情報の流れを絞り勾配も通りにくいため、蒸留や中間層の補助信号に頼ることが多い。
論文題名での読み方
thin and deepの構成
GLOSSARY
薄い。層の幅が狭く細い構造
1本の論文題名に登場
層あたりの幅、つまりチャネル数やユニット数が小さい構造を指す。thin and deep のように深さと対で使われ、同じパラメータ数を幅ではなく層数に振る設計方針を表す。計算量とメモリは減るが狭い層が情報の流れを絞り勾配も通りにくいため、蒸留や中間層の補助信号に頼ることが多い。
thin and deepの構成