task_categories:question-answering task_categories:summarization size_categories:10K<n<100K language:zh license:cc-by-sa-3.0 arxiv:2203.02155 region:us
---
dataset_info:
  features:
  - name: instruction
    dtype: string
  - name: context
    dtype: string
  - name: response
    dtype: string
  splits:
  - name: train
    num_bytes: 10483730
    num_examples: 15011
  download_size: 7492947
  dataset_size: 10483730
configs:
- config_name: default
  data_files:
  - split: train
    path: data/train-*
license: cc-by-sa-3.0
task_categories:
- question-answering
- summarization
language:
- zh
size_categories:
- 10K<n<100K
---
# Dataset Card for "dolly-15k-chinese-zhtw"

## 內容

dolly-15k-chinese-zhtw  是一個開源數據集，它的原始數據集 [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) 包含由數千名 Databricks 員工產生的指令追蹤記錄，涉及 [InstructGPT](https://arxiv.org/abs/2203.02155) 論文中概述的幾個行為類別，包括腦力激盪、分類、封閉式QA、生成、資訊擷取、開放式QA 和總結。

根據以下條款，該資料集可用於任何目的，無論是學術目的還是商業目的 [Creative Commons Attribution-ShareAlike 3.0 Unported License](https://creativecommons.org/licenses/by-sa/3.0/legalcode)。

## 支援的任務

- 訓練 LLMs
- 合成數據的生成
- 數據增強

## 概述

databricks-dolly-15k 是由數千名 Databricks 員工產生的超過 15,000 筆記錄的語料庫，使大型語言模型能夠展現 ChatGPT 的神奇互動性。 Databricks 員工被邀請在八個不同的指令類別中的每一個類別中建立提示/回應對，其中包括 InstructGPT 論文中概述的七個類別，以及開放式自由格式類別。貢獻者被指示避免使用除維基百科（針對指令類別的特定子集）之外的網絡上任何來源的信息，並明確指示避免在製定指令或響應時使用生成式人工智能。提供了每種行為的範例，以激發適合每個類別的問題類型和說明。

在資料生成過程的中間，貢獻者可以選擇回答其他貢獻者提出的問題。他們被要求重新表述原來的問題，並且只選擇他們可以合理地預期正確回答的問題。

對於某些類別，貢獻者被要求提供從維基百科複製的參考文本。參考文本（由實際資料集中的上下文欄位指示）可能包含括號內的維基百科引用編號（例如[42]），我們建議使用者在下游應用程式中將其刪除。

## 範例

一個樣本的範例:

```
{
  'instruction': '小森田智昭是什麼時候出生的？',
  'context': '小森田出生於1981年7月10日，出生在熊本縣。高中畢業後，他於2000年加入了J1聯賽俱樂部Avispa...',
  'response': '小森田智明出生於1981年7月10日。'
}
```

## 資料欄位

資料有幾個欄位：

- `instruction`: 描述模型應該執行的任務
- `context`: 任務內容的上下文
- `response`: 回應

## 已知限制

- 維基百科是一個眾包語料庫，該資料集的內容可能反映維基百科中發現的偏見、事實錯誤和主題焦點
- 註釋者人口統計和主題可能反映 Databricks 員工的組成

## 論文引用

```
@online{DatabricksBlog2023DollyV2,
    author    = {Mike Conover and Matt Hayes and Ankit Mathur and Jianwei Xie and Jun Wan and Sam Shah and Ali Ghodsi and Patrick Wendell and Matei Zaharia and Reynold Xin},
    title     = {Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM},
    year      = {2023},
    url       = {https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm},
    urldate   = {2023-06-30}
}
```

## 許可資訊

資料集中的某些類別的資料包括來自以下來源的資料，並根據 CC BY-SA 3.0 授權：

- 維基百科 - https://www.wikipedia.org