bidirectional

定義

ある位置を扱うのに、前だけでなく後ろの文脈も同時に使うこと。BERT の B にあたり、隠した語を左右両方から推定する設計を指す。左から右へ順に生成する自己回帰モデルでは、後ろを見ることが答えを覗くことになるため構造上使えず、理解や分類向けの符号化器で採用される。

論文題名での読み方

BERTのBの部分

この語が出てくる解説

• エンコーダとデコーダ — BERTとGPTの分岐点BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding