distilbert

BERTを蒸留した軽量モデル

2本の論文題名に登場

定義

Hugging Face が公開した、BERT を知識蒸留で小型化した事前学習モデル。層数を減らした生徒モデルを、教師である BERT の出力分布に合わせながら事前学習し直すことで、元の性能の大部分を保ったまま軽く速くすることを示した。大規模事前学習モデルに蒸留を適用した初期の代表例として、軽量モデルのベースラインに使われる。

論文題名での読み方

モデル名。小型BERT