parallelism

並列化。複数の計算機で同時に分担すること

1本の論文題名に登場

定義

計算を複数の装置に分けて同時に進め、大規模な学習や推論を可能にする手法群。data は同じモデルでデータを分け、tensor は個々の行列演算を割り、pipeline は層をまたいで段に分ける。通信量と待ち時間の性質が異なるため、実際は複数を組み合わせて使う。

data/tensor parallelism