学生版 社会人版
JA EN
体系 › 半導体

計算機アーキテクチャ

論理回路・クロック・メモリ階層・メモリの壁

01 ·計算機アーキテクチャ·★ 会員·11分で読めます メモリの壁を1から — なぜ演算より転送が高いのか 掛け算より、数を運ぶほうが高い。配線の充放電という物理から出発して、DRAMのレイテンシがなぜ縮まないのか、メモリ階層の桁、リトルの法則、マシンバランスとルーフラインまで。最後に、目の前のカーネルが計算律速か帯域律速かを自分で切り分けられるところまで持っていきます。 02 ·計算機アーキテクチャ·★ 会員·論文·12分で読めます GPUのメモリ階層 — HBM・SRAM・レジスタと「移動が支配する」現実 FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness GPUの速さを決めているのは演算器ではなく、レジスタ・共有メモリ・L2・HBMのどこにデータを置き、何回運ぶかです。階層の容量と帯域の桁、演算強度とタイル化、階層ごとに引くルーフライン、そして「FLOPsを増やしたのに速くなる」FlashAttentionまでを前提知識ゼロから追います。 03 ·計算機アーキテクチャ·★ 会員·論文·12分で読めます CPUパイプラインと分岐予測 — 1クロックの中の工場 Spectre Attacks: Exploiting Speculative Execution 1命令が1クロックで終わるように見えるのは、工場のラインと同じ流れ作業だから。5段パイプラインの組み立てから、流れを止める3種のハザード、分岐予測と投機実行、そして投機の副産物が情報漏洩になったSpectreまでを、前提知識ゼロから追いかけます。 04 ·計算機アーキテクチャ·★ 会員·論文·12分で読めます シストリックアレイ — TPUの心臓部を1から In-Datacenter Performance Analysis of a Tensor Processing Unit 掛け算器を並べるだけでは速くならないのは、データを運ぶ手間が演算より重いからです。TPUの中心にある格子＝シストリックアレイが、行列積の三重ループを縦・横・時間にどう割り当てているのかを、2×2の手計算からサイクル単位のコード、バッチと次元の実務まで前提知識ゼロで解きほぐします。 05 ·計算機アーキテクチャ·★ 会員·11分で読めます インターコネクト — NVLink・PCIe・光が決めるスケール GPUを増やしても速くならない理由は、たいてい配線の側にあります。HBMからNVLink、PCIe、ノード間ネットワークまでの帯域の階層を桁で押さえ、集合通信の時間を「段数×遅延＋バイト数÷帯域」に分解し、なぜall-to-allがきついのか、なぜ距離が光を要求するのかを前提知識ゼロから追います。