detokenizer

トークン列を元の文に戻す道具

2本の論文題名に登場

定義

トークン列を人が読む文字列に戻す処理。単純に連結すればよいとは限らず、空白や記号の復元規則が要るため、元の文へ厳密に戻せるかどうかは分割器の設計で決まる。空白を通常の記号として保持する方式は、この逆変換が曖昧にならないよう作られている。

tokenizerの逆処理