refinedweb

Web由来の高品質な事前学習データ集の名

1本の論文題名に登場

定義

TII が公開した、Web クロールだけを素材にした大規模事前学習データ集の名前。徹底したフィルタリングと重複除去を通せば、人手で選んだ書籍や論文を混ぜなくても十分な品質になる、という主張とともに提示された。Falcon 系モデルの学習データとして知られる。

固有名。データセット名