学生版 社会人版
JA EN

#gemm

2 記事

01 ·計算機アーキテクチャ·★ 会員·論文·12分で読めます シストリックアレイ — TPUの心臓部を1から In-Datacenter Performance Analysis of a Tensor Processing Unit 掛け算器を並べるだけでは速くならないのは、データを運ぶ手間が演算より重いからです。TPUの中心にある格子＝シストリックアレイが、行列積の三重ループを縦・横・時間にどう割り当てているのかを、2×2の手計算からサイクル単位のコード、バッチと次元の実務まで前提知識ゼロで解きほぐします。 02 ·数値計算·★ 会員·10分で読めます 行列積のコスト — AIの計算はほぼここに帰着する なぜGEMMが全てなのか。O(n³)の内訳、メモリ帯域と演算強度、GPUが速い理由、タイル化の直感。最後に、AIモデルの学習・推論に必要なFLOPsを自分の手で見積もれるところまで持っていきます。