#nccl

1 記事

01 ·計算機アーキテクチャ·★ 会員·11分で読めます インターコネクト — NVLink・PCIe・光が決めるスケール GPUを増やしても速くならない理由は、たいてい配線の側にあります。HBMからNVLink、PCIe、ノード間ネットワークまでの帯域の階層を桁で押さえ、集合通信の時間を「段数×遅延＋バイト数÷帯域」に分解し、なぜall-to-allがきついのか、なぜ距離が光を要求するのかを前提知識ゼロから追います。