deduplicating

重複を取り除くこと

1本の論文題名に登場

定義

学習データから重複・ほぼ重複の文書を取り除く前処理のこと。Web 収集コーパスには同じ文章が大量に混じるため、これを落とすと学習効率が上がり、丸暗記や評価データの混入も減らせる。完全一致だけでなく MinHash などで近似重複を叩く運用が一般的。

学習データの整理処理