GLOSSARY

masked

隠された。一部を伏せた

2本の論文題名に登場

定義

入力の一部を隠し、その中身を周囲から当てさせる学習の型。BERT 系のマスク言語モデリングや、画像の大部分を隠して復元させるマスク自己符号化器で使われ、ラベルのないデータから表現を学べる。次の語だけを予測する自己回帰と違い、隠した箇所の前後両方を手掛かりにできる。

穴埋め学習(BERT)の方式