用語集 › words
GLOSSARY
words
単語（複数）
5本の論文題名に登場
定義
言語の基本単位としての単語。ただし現在のモデルが実際に扱うのは単語そのものではなく、単語をさらに分割したサブワードのトークンであることが多い点に注意。word embedding のように、単語をベクトルで表す古典的な流れを示す語としてもタイトルに現れる。
論文題名での読み方
言語の単位を指す
この語が出てくる解説
- 【実装】BPEトークナイザを自作する — マージ規則を学習し、日本語で殴られるNeural Machine Translation of Rare Words with Subword Units
- トークナイザを1から — LLMが世界を切り刻む単位Neural Machine Translation of Rare Words with Subword Units
- 論文解説: ViT — 画像を単語のように扱うAn Image is Worth 16x16 Words: Transformers for Image Recognition at Scale