GLOSSARY

ring

輪。計算機を環状につなぎ順に受け渡す形

1本の論文題名に登場

定義

計算機を環状につなぎ、隣へ順にデータを渡しながら計算する並列化の形。Ring Attention では各GPUがキーと値のブロックを保持し、環を一周させて交換しながら注意を計算するため、1台のメモリには収まらない長さの系列を扱える。通信を計算の裏側で進められるので、台数を増やせば扱える長さも伸びる。

論文題名での読み方

Ring Attentionの環