精度の追求と並行して、もう一つの流れが生まれた。スマートフォンや組み込み機器で動かすための軽量化である。ここが第I部と直結する領域になる。

Depthwise Separable Convolution

通常の畳み込みは、空間方向（縦横）とチャネル方向（色や特徴の種類）を同時に処理している。入力チャネル数がM、出力チャネル数がN、カーネルが3×3なら、重みは 3×3×M×N 個必要になる。

これを2段階に分解する。まず各チャネルごとに独立に3×3の畳み込みをする（depthwise）。次に1×1の畳み込みでチャネル間を混ぜる（pointwise）。

Nが大きいとき、計算量はおよそ8〜9分の1になる。精度の低下はわずかで、計算量とパラメータ数が桁で減る。2017年のMobileNetがこれを採用し、以後のエッジ向けモデルの標準的な部品になった。