用語集 › decoupled
GLOSSARY
decoupled
切り離した。独立に扱う
2本の論文題名に登場
定義
本来まとめて扱われていた要素を切り離して独立に制御することを指す語。代表例は decoupled weight decay で、重み減衰を勾配に混ぜず更新後の重みに直接かけることで、Adam の適応的な学習率スケーリングと干渉しないようにした(この修正版が AdamW)。切り離すことで各要素を個別に調整できるようになる。
論文題名での読み方
AdamWの重み減衰など
GLOSSARY
切り離した。独立に扱う
2本の論文題名に登場
本来まとめて扱われていた要素を切り離して独立に制御することを指す語。代表例は decoupled weight decay で、重み減衰を勾配に混ぜず更新後の重みに直接かけることで、Adam の適応的な学習率スケーリングと干渉しないようにした(この修正版が AdamW)。切り離すことで各要素を個別に調整できるようになる。
AdamWの重み減衰など