task_categories:text-generation size_categories:100K<n<1M language:zh license:cc-by-sa-3.0 region:us
---
dataset_info:
  config_name: '20231001'
  features:
  - name: id
    dtype: string
  - name: url
    dtype: string
  - name: title
    dtype: string
  - name: lang
    dtype: int64
  - name: text
    dtype: string
  splits:
  - name: train
    num_bytes: 4441187554
    num_examples: 311698
  download_size: 2980564378
  dataset_size: 4441187554
configs:
- config_name: '20231001'
  data_files:
  - split: train
    path: 20231001/train-*
license: cc-by-sa-3.0
task_categories:
- text-generation
language:
- zh
size_categories:
- 100K<n<1M
---
# Dataset Card for "zhwikisource-zhtw"

**維基文庫**（英文：Wikisource）, 又稱 "自由的圖書館", 是一個由志願者在線收集自由內容文本的站點。 它屬維基媒體計劃項目，由維基媒體基金會負責運營。

作品類型:
- 典籍 | 史書 | 小說 | 詩歌 | 散文 | 演講 | 歌詞 | 經書 | 更多……

主題：
- 條約 | 憲法 | 法律 | 教育 | 政治 | 歷史 | 宗教 | 更多……

精選：
- 文章： 道德經 | 脂硯齋重評石頭記
- 文集： 紅樓夢 | 三國演義 | 西遊記 | 詩經 | 夢溪筆談 | 三十六計 | 古文觀止
- 歷史： 史記 | 資治通鑑 | 續資治通鑑 | 金史 | 漢書 | 後漢書 | 三國志
- 判例： 中國大理院解釋 | 中華民國最高法院解釋 | 中華民國司法院解釋 | 中華民國司法院大法官解釋
- 分類： 中華民國法律 | 中華人民共和國法律 | 中華人民共和國國務院政府工作報告 | 十三經 | 正史


這個數據集是根據 Wikipedia dumps (https://dumps.wikimedia.org/) 裡頭 `zhwikisource` 的中文下載檔案來建構的。每個範例都包含一篇完整的維基新聞文章的內容，並經過清理以去除不需要的部分。

- **Homepage:** [https://dumps.wikimedia.org](https://dumps.wikimedia.org)
- **zhwikisource 下載點:** [https://dumps.wikimedia.org/zhwikisource](https://dumps.wikimedia.org/zhwikisource/)

## 數據 Dump 版本

由於維基百科數據集定期會進行網站數據拋轉，在 `2023/10/10` 的時間點去查看時會有下列的數據可供下載:

|數據 Dump 目錄|拋轉時間點|
|-------------|--------|
|`20230520/`|01-Jul-2023 09:25|
|`20230601/`|20-Jul-2023 09:28|
|`20230620/`|01-Aug-2023 09:27|
|`20230701/`|20-Aug-2023 09:30|
|`20230720/`|01-Sep-2023 09:27|
|`20230801/`|20-Sep-2023 09:29|
|`20230820/`|01-Oct-2023 09:28|
|`20230901/`|02-Sep-2023 21:44|
|`20230920/`|21-Sep-2023 17:25|
|`20231001/`|14-Oct-2023 05:20|
|`latest/`|14-Oct-2023 05:20|

本數據集會定期去取得最近有明確的日期來進行下載與清理，便於驗證與使用。

## 數據下載清理

1. 下載 zhwiki 的 data dump 檔案
2. 使用 [WikiExtractor](https://github.com/attardi/wikiextractor) 套件來進行文件內容萃取
3. 使用 [hanzidentifier](https://github.com/tsroten/hanzidentifier) 來判斷內容是中文簡體或繁體 (用文章的 `title`)
4. 進行數據清理并轉換成 jsonl 格式檔案
5. 使用 Huggingface [Datasets](https://pypi.org/project/datasets/) 套件來載入 jsonl 并上傳至 Huggingface Hub

## 資料集結構

範例如下：

```
{'id': '7183',
 'url': 'https://zh.wikisource.org/wiki?curid=7183',
 'title': '相見歡 (李煜)',
 'lang': 1,
 'text': '無言獨上西樓，月如鉤。寂寞梧桐深院鎖清秋。剪不斷，理還亂，是離愁。別是一般滋味在心頭。'
}
```

## 資料欄位

所有配置中的資料欄位都是相同的：

- `id (str)`: 文章的 ID。
- `url (str)`: 文章的 URL。
- `title (str)`: 文章的標題。
- `lang (int)`: 判斷內容是中文簡體或繁體 (用文章的 `title`)。
    - 0: UNKNOWN
    - 1: TRADITIONAL (中文繁體)
    - 2: SIMPLIFIED (中文簡體)
    - 3: BOTH
    - 4: MIXED
- `text (str)`: 文章的文字內容。

## 使用

```python
from datasets import load_dataset

# 請在第二個參數去指定要使用的數據 dump 的日期
load_dataset("erhwenkuo/zhwikisource-zhtw", "20231001")
```

## 許可資訊

維基百科的大部分文章內容及其許多圖像均根據 `Creative Commons Attribution-ShareAlike 3.0 Unported License (CC BY-SA)` 和 `GNU Free Documentation License (GFDL)` 共同授權。

## Citation

```
@ONLINE{wikidump,
    author = "Wikimedia Foundation",
    title  = "Wikimedia Downloads",
    url    = "https://dumps.wikimedia.org"
}
```