sentencepiece

文を部分語に分割するGoogle製の道具

2本の論文題名に登場

定義

Google が公開した、言語に依存しないトークン化の実装。空白で単語に区切る前処理を前提とせず、生の文字列から学習・分割できるため、日本語や中国語のように単語境界が明示されない言語も英語と同じ手順で扱える。空白を記号として保持するので分割結果から文へ戻せるが、正規化を掛けた場合は元の文字列と厳密には一致しない。

論文題名での読み方

手法名。語の分割器