asynchrony

非同期性。足並みを揃えずに各自進めること

1本の論文題名に登場

定義

各計算主体が足並みを揃えず、待ち合わせをせずに独立に進む性質のこと。分散学習では全体同期のたびに最も遅い装置に律速される問題を避けられる一方、他が古いパラメータで更新を行う stale gradient が生じ、収束の挙動が変わる。GPU カーネル実行の文脈では、通信と計算を重ねて待ち時間を隠す手段としても使われる。

論文題名での読み方

待ち時間を減らす工夫