bert

定義

Google が発表した事前学習済み言語モデルで、文章を左右両方向から同時に読む Transformer エンコーダを、一部の語を隠して当てさせるマスク言語モデリングで訓練する。事前学習＋微調整という流れを自然言語処理の標準にした点で影響が大きい。文章を生成する GPT 系とは異なり、理解・分類向けの設計。

論文題名での読み方

2018年の代表的モデル

この語が出てくる解説

• エンコーダとデコーダ — BERTとGPTの分岐点BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding