
このデータセットは[kunishou/databricks-dolly-15k-ja](https://huggingface.co/datasets/kunishou/databricks-dolly-15k-ja)を元に作成されています。  
また、[databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k)の情報も参考にしました。

### 主な修正点  
- [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k#dataset-overview)に注意事項として、注釈は削除した方が良いとの以下記載があり、注釈を削除しています。  
Reference text (indicated by the `context` field in the actual dataset) may contain bracketed Wikipedia citation numbers (e.g. `[42]`) which we recommend users remove for downstream applications.  
なお注釈の削除については、正規表現を用いた修正を行っております。https://github.com/yuichiro2023/normalize_text
- 重複した内容の行が複数あり、削除しました。'instruction','input','output’がすべて一致している場合や'input','output’が一致している場合がありました。
- inputが ”空白” 、outputが ”はあ” となっているデータが複数あり、修正しました。
language:ja license:cc-by-sa-3.0 region:us
{"language": ["ja"], "license": "cc-by-sa-3.0"}
TAGS
#language-Japanese #license-cc-by-sa-3.0 #region-us 


このデータセットはkunishou/databricks-dolly-15k-jaを元に作成されています。  
また、databricks-dolly-15kの情報も参考にしました。

### 主な修正点  
- databricks-dolly-15kに注意事項として、注釈は削除した方が良いとの以下記載があり、注釈を削除しています。  
Reference text (indicated by the 'context' field in the actual dataset) may contain bracketed Wikipedia citation numbers (e.g. '[42]') which we recommend users remove for downstream applications.  
なお注釈の削除については、正規表現を用いた修正を行っております。URL
- 重複した内容の行が複数あり、削除しました。'instruction','input','output’がすべて一致している場合や'input','output’が一致している場合がありました。
- inputが ”空白” 、outputが ”はあ” となっているデータが複数あり、修正しました。
### 主な修正点  
- databricks-dolly-15kに注意事項として、注釈は削除した方が良いとの以下記載があり、注釈を削除しています。  
Reference text (indicated by the 'context' field in the actual dataset) may contain bracketed Wikipedia citation numbers (e.g. '[42]') which we recommend users remove for downstream applications.  
なお注釈の削除については、正規表現を用いた修正を行っております。URL
- 重複した内容の行が複数あり、削除しました。'instruction','input','output’がすべて一致している場合や'input','output’が一致している場合がありました。
- inputが ”空白” 、outputが ”はあ” となっているデータが複数あり、修正しました。
TAGS
#language-Japanese #license-cc-by-sa-3.0 #region-us 
 ### 主な修正点  
- databricks-dolly-15kに注意事項として、注釈は削除した方が良いとの以下記載があり、注釈を削除しています。  
Reference text (indicated by the 'context' field in the actual dataset) may contain bracketed Wikipedia citation numbers (e.g. '[42]') which we recommend users remove for downstream applications.  
なお注釈の削除については、正規表現を用いた修正を行っております。URL
- 重複した内容の行が複数あり、削除しました。'instruction','input','output’がすべて一致している場合や'input','output’が一致している場合がありました。
- inputが ”空白” 、outputが ”はあ” となっているデータが複数あり、修正しました。
passage: TAGS
#language-Japanese #license-cc-by-sa-3.0 #region-us 
### 主な修正点  
- databricks-dolly-15kに注意事項として、注釈は削除した方が良いとの以下記載があり、注釈を削除しています。  
Reference text (indicated by the 'context' field in the actual dataset) may contain bracketed Wikipedia citation numbers (e.g. '[42]') which we recommend users remove for downstream applications.  
なお注釈の削除については、正規表現を用いた修正を行っております。URL
- 重複した内容の行が複数あり、削除しました。'instruction','input','output’がすべて一致している場合や'input','output’が一致している場合がありました。
- inputが ”空白” 、outputが ”はあ” となっているデータが複数あり、修正しました。