教科書 › 第I部 半導体の理論
CHAPTER 13
データを動かすほうが高い
この章は短いが、AIハードウェアを理解するうえで最も重要かもしれない。
直感に反するが、現代のチップでは「計算する」よりも「データを運ぶ」ほうが圧倒的にエネルギーを食う。おおよその桁感は次のようになる。
1回の操作に必要なエネルギーの目安(桁のイメージ)
| 操作 | 相対コスト |
|---|---|
| 8ビットの足し算 | 1 |
| 8ビットの掛け算 | 数倍 |
| チップ内のSRAMから読む | 数十倍 |
| チップ外のDRAMから読む | 数百〜千倍以上 |
つまり演算器を増やすより、データを外に取りに行く回数を減らすほうが効く。設計者が本当に戦っているのはここ。
この事実が、AIアクセラレータの設計思想をほぼ決定している。
ここから導かれる設計
一度読んだデータをできるだけ使い回す。演算器を格子状に並べてデータを隣へ隣へと受け渡していくシストリックアレイは、この発想の産物。
そもそも動かさない。メモリの中で計算してしまうインメモリ演算という方式もある。
運ぶデータを小さくする。32ビットを8ビットにすれば、運ぶ量が4分の1になる。量子化の本当の効き目は、演算が速くなること以上に、この転送量の削減にある。
コメント
コメントにはログインが必要です