word

定義

言語の単語。word embedding のように、単語を密なベクトルとして表現する初期の重要概念に結びついた語だが、現在の大規模モデルは単語単位ではなくサブワードのトークン単位で処理する。したがって word と token は一致せず、桁の分割や珍しい綴りの扱いなど、モデルの弱点の一部はこのずれから生じる。

論文題名での読み方

word embedding＝単語ベクトル

この語が出てくる解説

• 埋め込み(Embedding)を1から理解する — word2vecの直感から文脈化埋め込みまでEfficient Estimation of Word Representations in Vector Space