rare

定義

出現頻度が低いこと。低頻度語は学習例が乏しいうえ、単語単位の語彙では未知語としてこぼれ落ちるため、サブワード分割が導入される直接の動機になった。稀な事例での挙動は平均的な精度に埋もれて見えないので、必要なら評価を別立てにする必要がある。

論文題名での読み方

低頻度語・希少事例

この語が出てくる解説

• 【実装】BPEトークナイザを自作する — マージ規則を学習し、日本語で殴られるNeural Machine Translation of Rare Words with Subword Units
• トークナイザを1から — LLMが世界を切り刻む単位Neural Machine Translation of Rare Words with Subword Units