#pipeline-parallel

2 記事

01 ·推論・高速化·★ 会員·論文·14分で読めます 論文解説: Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training — 122B・256Kトークンで下書きモデルを方針と一緒に学習させる Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training RL学習の時間を食うロールアウト生成を投機的デコーディングで速くし、下書きモデルを方針と一緒に学習し続ける。NVIDIAがコンテキスト並列とパイプライン並列の2つの壁をどう越えたかを、論文本文に沿って1から解説。 02 ·並列・分散·★ 会員·13分で読めます 分散学習を1から — データ並列・モデル並列・通信がボトルネックになるとき なぜ1台に載らないのかをメモリの内訳から出発し、データ並列とall-reduce、ZeRO/FSDPが何を分割するのか、テンソル並列とパイプライン並列を順に。最後は通信量と計算量の比で「どこで頭打ちになるか」を自分で見積もり、勾配蓄積・NCCLの設定・ハングの切り分けまで降ります。