#bert

1 記事

01 ·Transformerの仕組み·★ 会員·論文·12分で読めます エンコーダとデコーダ — BERTとGPTの分岐点 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 同じTransformerから生まれたBERTとGPTを分けたのは、注意の表を隠すマスク1枚だった。双方向と自己回帰の違いを式と動く図で確かめ、なぜ生成側が主流になり、それでもエンコーダが検索と分類の現場で使われ続けるのかを解く。