要搞自己的大型語言模型，最基本的基本，就是需要一大堆文字資料，從 Common Crawl 上頭抓回來慢慢清洗是一條路，清洗維基百科網站的週期性下載檔也是一個方法。本資料集是解析自[維基百科於 20230701 發布的繁體中文版打包檔](https://dumps.wikimedia.org/zhwiki/20230701/) bz2 檔案的內容，在解析出所需內容後，利用 [wikitextparser](https://wikitextparser.readthedocs.io/en/latest/) 移除 Wiki 標記。解析後保留的欄位有兩個：條目名稱（title），條目內容（page article）。

原始的打包檔條目內容簡繁混雜，所以有利用 OpenCC 進行簡轉繁處理。

* 原始總條目數: 4,296,654 條目。
* 全部 4,296,249 個條目標題。
* 全部 4,296,249 個條目內容。
* 無法自動去標記的條目數: 5,415
* 有內容的條目數: 4,296,249

因為本資料集內容龐大，要塞進一般的個人電腦中進行計算，恐怕會有資源不足的情形。建議使用[parquet](https://huggingface.co/docs/datasets/loading#parquet)格式下載使用。

資料集當中有不少內容為 #REDIRECT 的條目，就等以後有空推出修正版再來清洗了。
multilinguality:monolingual size_categories:100M<n<1B source_datasets:wikipedia language:zh license:cc-by-sa-4.0 region:us
{"language": ["zh"], "license": "cc-by-sa-4.0", "multilinguality": ["monolingual"], "size_categories": ["100M<n<1B"], "source_datasets": ["wikipedia"], "pretty_name": "wiki_tw", "dataset_info": {"features": [{"name": "title", "dtype": "string"}, {"name": "article", "dtype": "string"}]}, "extra_gated_prompt": "You agree to not attempt to determine the identity of individuals in this dataset", "extra_gated_fields": {"Company": "text", "Country": "text", "I agree to use this dataset for non-commercial use ONLY": "checkbox"}}
TAGS
#multilinguality-monolingual #size_categories-100M<n<1B #source_datasets-wikipedia #language-Chinese #license-cc-by-sa-4.0 #region-us 

要搞自己的大型語言模型，最基本的基本，就是需要一大堆文字資料，從 Common Crawl 上頭抓回來慢慢清洗是一條路，清洗維基百科網站的週期性下載檔也是一個方法。本資料集是解析自維基百科於 20230701 發布的繁體中文版打包檔 bz2 檔案的內容，在解析出所需內容後，利用 wikitextparser 移除 Wiki 標記。解析後保留的欄位有兩個：條目名稱（title），條目內容（page article）。

原始的打包檔條目內容簡繁混雜，所以有利用 OpenCC 進行簡轉繁處理。

* 原始總條目數: 4,296,654 條目。
* 全部 4,296,249 個條目標題。
* 全部 4,296,249 個條目內容。
* 無法自動去標記的條目數: 5,415
* 有內容的條目數: 4,296,249

因為本資料集內容龐大，要塞進一般的個人電腦中進行計算，恐怕會有資源不足的情形。建議使用parquet格式下載使用。

資料集當中有不少內容為 #REDIRECT 的條目，就等以後有空推出修正版再來清洗了。
TAGS
#multilinguality-monolingual #size_categories-100M<n<1B #source_datasets-wikipedia #language-Chinese #license-cc-by-sa-4.0 #region-us 

passage: TAGS
#multilinguality-monolingual #size_categories-100M<n<1B #source_datasets-wikipedia #language-Chinese #license-cc-by-sa-4.0 #region-us 
