The Pile 是一個龐大的開源英文文本資料集，由 EleutherAI 於 2020 年創建，旨在訓練大型語言模型 (LLM)。 它包含 886.03 GB 的文本，涵蓋學術論文、網頁資料、書籍和程式碼等多元內容。
The Pile 由 22 個較小的資料集組成，其中包含 14 個全新資料集。 與 Common Crawl 這種透過自動網頁抓取建立的資料集不同，The Pile 是一個經過精心策劃的資料集，每個資料來源都是由研究人員根據其在訓練語言模型方面的潛在價值所選擇的。
為了確保資料集的品質，EleutherAI 採取了一些篩選措施。首先，他們過濾了整個資料集以去除重複的內容。此外，部分子資料集也經過額外的品質控管。例如，Pile-CC 是 Common Crawl 的修改版本，其中的資料經過篩選，去除了非文本的部分，例如 HTML 格式和連結。
資料集名稱原始大小Epochs有效大小Pile-CC243.87 GB1243.87 GBPubMed Central96.93 GB2193.86 GBBooks3108.40 GB1.5162.61 GBOpenWebText267.40 GB2134.80 GBarXiv60.36 GB2120.71 GBGitHub102.18 GB1102.18 GBFree Law54.92 GB1.582.39 GBStack Exchange34.57 GB269.14 GBUSPTO Backgrounds24.59 GB249.19 GBPubMed Abstracts20.68 GB241.37 GBGutenberg (PG-19)11.68 GB2.529.20 GBOpenSubtitles13.94 GB1.520.91 GBWikipedia6.85 GB320.54 GBDeepMind Mathematics8.32 GB216.63 GBUbuntu Freenode IRC logs5.93 GB211.84 GBBookCorpus26.76 GB1.510.15 GBEuroParl4.93 GB29.85 GBHacker News4.19 GB28.38 GBYouTube Subtitles4.01 GB28.02 GBPhilPapers2.56 GB25.11 GBNIH ExPorter2.03 GB24.07 GBEnron Emails0.95 GB21.89 GB總計 886.03 GB1346.69 GB
資料來源: Wikipedia
Epochs 指的是在整個資料集上訓練 AI 的次數，換句話說，AI 模型會在相同的資料上訓練多次，每次完整的訓練過程稱為一個 epoch。星號 (*) 表示新引入的資料集。 表格中的「有效大小」是指每個資料集在經過 epochs 加權後的檔案大小，用於反映資料集在訓練過程中的實際影響力。
The Pile 的優勢在於其資料的多樣性和品質。相較之下，Common Crawl 雖然規模龐大，但資料品質參差不齊，需要額外的處理和篩選才能用於訓練。