用語集 › tinybert
GLOSSARY
tinybert
TinyBERT。BERTを蒸留した小型モデル
1本の論文題名に登場
定義
BERT を蒸留して作られた小型の Transformer 言語モデル。事前学習段階と下流タスク段階の二段階で蒸留し、出力だけでなく埋め込み・注意行列・中間層の表現も教師に合わせる点が特徴。推論を軽くするための BERT 圧縮の代表例として、DistilBERT や MiniLM と並べて言及される。
論文題名での読み方
固有名。小型BERT
GLOSSARY
TinyBERT。BERTを蒸留した小型モデル
1本の論文題名に登場
BERT を蒸留して作られた小型の Transformer 言語モデル。事前学習段階と下流タスク段階の二段階で蒸留し、出力だけでなく埋め込み・注意行列・中間層の表現も教師に合わせる点が特徴。推論を軽くするための BERT 圧縮の代表例として、DistilBERT や MiniLM と並べて言及される。
固有名。小型BERT