partitioning

分割。データやモデルを切り分けて配ること

1本の論文題名に登場

定義

モデルやデータ、最適化状態を重複なく切り分けて各装置に割り当てる操作。どの軸で切るかで装置間の通信量とタイミングが決まるため、並列化の性能はこの分割設計にほぼ規定される。「同時に走らせる」結果を指す parallelism に対し、その具体的な割り当てを指す。

GPU間の分担の仕方