GLOSSARY

electra

偽の単語を見抜く学習で鍛えるBERT系モデル

1本の論文題名に登場

定義

生成器が置き換えた偽の単語を識別器が見抜く、置換トークン検出という目的でBERT系モデルを事前学習する手法。マスクした15%だけでなく入力の全位置から学習信号が得られるため、同じ計算量でBERTより高い性能に到達しやすいのが主な主張。GANと似た構成だが敵対的に学習するのではなく、生成器と識別器を同時に最尤で学習する点が異なる。

論文題名での読み方

固有名。効率的な事前学習