JA EN
教科書 › 第I部 半導体の理論
CHAPTER 13

データを動かすほうが高い

★ 会員1分

この章は短いが、AIハードウェアを理解するうえで最も重要かもしれない。

直感に反するが、現代のチップでは「計算する」よりも「データを運ぶ」ほうが圧倒的にエネルギーを食う。おおよその桁感は次のようになる。

1回の操作に必要なエネルギーの目安(桁のイメージ)
操作 相対コスト
8ビットの足し算 1
8ビットの掛け算 数倍
チップ内のSRAMから読む 数十倍
チップ外のDRAMから読む 数百〜千倍以上
つまり演算器を増やすより、データを外に取りに行く回数を減らすほうが効く。設計者が本当に戦っているのはここ。

この事実が、AIアクセラレータの設計思想をほぼ決定している。

ここから導かれる設計

一度読んだデータをできるだけ使い回す。演算器を格子状に並べてデータを隣へ隣へと受け渡していくシストリックアレイは、この発想の産物。

そもそも動かさない。メモリの中で計算してしまうインメモリ演算という方式もある。

運ぶデータを小さくする。32ビットを8ビットにすれば、運ぶ量が4分の1になる。量子化の本当の効き目は、演算が速くなること以上に、この転送量の削減にある。

§

この先は会員限定です

全26章と全ラボが読み放題。月額¥490、いつでも解約できます。

コメント

コメントにはログインが必要です