pile

定義

一般には「積み重ね」だが、この分野では EleutherAI が公開した大規模英語テキストデータ集 The Pile を指すことがほとんど。学術論文・コード・書籍・Web など出所の異なる多数の部分集合を束ねた構成で、公開系の言語モデルの事前学習データとして広く使われてきた。

論文題名での読み方

固有名。学習データ集

この語が出てくる解説

• 事前学習データの作り方 — Webから教科書品質へThe Pile: An 800GB Dataset of Diverse Text for Language Modeling