tokenizer

トークナイザ。文を単語片に切り分ける道具

2本の論文題名に登場

定義

文字列を、モデルの入力単位であるトークン列に切り分ける部品。語彙と分割規則を持ち、学習時に決めたものを推論時もそのまま使う。ネットワークの外側にある前処理だが、対応が悪いと同じ内容でもトークン数が増えて費用と文脈長を圧迫し、数字やコード、少数言語の扱いにも影響する。

文→トークンに切る