looped

定義

同じ層や処理ブロックを繰り返し通すようにした構成を指す語。重みを共有したまま反復回数を増やせば、パラメータ数を増やさずに実効的な深さと推論時の計算量だけを足せるため、テスト時に計算を追加して精度を上げる手立てとして注目される。層ごとに別の重みを積む通常の深層化とは区別される。

論文題名での読み方

層の反復利用を指す

この語が出てくる解説

• 論文解説 SMELT — 「同じ層をもう一周」は、予算を揃えても得なのかSMELT: Scaling Laws for Compute-Matched MoE Looped Transformers