subword

定義

単語より小さく、文字よりは大きい分割単位。頻出語は一つのまま保ち、稀な語や未知語は断片に分けることで、限られた語彙数であらゆる文字列を表現できる。未知語で行き詰まる単語単位と、系列が長くなりすぎる文字単位の折衷点にあたり、広く使われている言語モデルの大半がこの方式を採る。

論文題名での読み方

トークン化の単位

この語が出てくる解説

• 【実装】BPEトークナイザを自作する — マージ規則を学習し、日本語で殴られるNeural Machine Translation of Rare Words with Subword Units
• トークナイザを1から — LLMが世界を切り刻む単位Neural Machine Translation of Rare Words with Subword Units