
# llm-japanese-dataset
LLM構築用の日本語インストラクション(チャット)データセット

主に，英語で構築されたLLMモデルなどに対して，チャット(Instruction)応答タスクに関してLoRAなどでチューニングするために使用できます．

※様々な公開言語資源を利用させていただきました．関係各位にはこの場を借りて御礼申し上げます．

## updates

2023/5/15にAlpaca datasetがNCにライセンス変更されたことに対応し，安心してご利用いただけるように，データセットから当該データセットをドロップしました．
v1.0.1にて，ドロップ後のデータセットをご利用いただけます．

2024/1/4にWikipedia summaryに空白文字のみで構成される出力を削除することに対応し，Wikipediaのバージョンアップデート(20240101)をしました(v1.0.2)．

2024/1/18にAsian Language Treebank (ALT)データセットの欠損した出力を削除しました(v1.0.3)．


## データの詳細

データの詳細は，以下の論文を参照してください．

- 日本語: [https://jxiv.jst.go.jp/index.php/jxiv/preprint/view/383](https://jxiv.jst.go.jp/index.php/jxiv/preprint/view/383)
- 英語: [https://arxiv.org/abs/2305.12720](https://arxiv.org/abs/2305.12720)
- GitHub: [https://github.com/masanorihirano/llm-japanese-dataset](https://github.com/masanorihirano/llm-japanese-dataset)
- 最新情報: [llm.msuzuki.me](https://llm.msuzuki.me).

なお，Citationには，よろしければ，以下をご利用ください．
```
@preprint{Hirano2023-llmj,
  title={{llm-japanese-dataset v0: Construction of Japanese Chat Dataset for Large Language Models and its Methodology}},
  autor={Masanori HIRANO and Masahiro SUZUKI and Hiroki SAKAJI},
  doi={10.48550/arXiv.2305.12720},
  archivePrefix={arXiv},
  arxivId={2305.12720},
  year={2023}
}
```

共同研究，データ提供，各種支援，その他問い合わせは，izumi-llm@socsim.org へ．

## How to use
```python
from datasets import load_dataset
dataset = load_dataset("izumi-lab/llm-japanese-dataset", revision="main")
dataset = load_dataset("izumi-lab/llm-japanese-dataset", revision="a.b.c") # for specific version
```

 - version `0.1.0` contains bugs
 - version `0.1.1` contains 8,393,726 data (bug fixed)
 - version `1.0.0` contains 9,097,388 data (added jqac, wikipedia ja typo corpus)
 - version `1.0.1` contains 9,045,386 data (dropped alpaca dataset)
 - version `1.0.2` contains 9,074,350 data (removed samples of blank output and updated version of Wikipedia to 20240101 in Wikipedia summary)
 - version `1.0.3` contains 9,074,340 data (removed samples of blank output in alt)

For more details, see: https://github.com/masanorihirano/llm-japanese-dataset

## LICENSE
CC-BY-SA 4.0
(For more details, see: LICENSE, NOTICE.md, NOTICE2.md)

## Note
MIT License version is also available on the github release page
https://github.com/masanorihirano/llm-japanese-dataset/releases

To see more latest information, please go to [llm.msuzuki.me](https://llm.msuzuki.me).

size_categories:1M<n<10M language:ja license:cc-by-sa-4.0 arxiv:2305.12720 region:us
{"language": ["ja"], "license": "cc-by-sa-4.0", "size_categories": ["1M<n<10M"]}
TAGS
#size_categories-1M<n<10M #language-Japanese #license-cc-by-sa-4.0 #arxiv-2305.12720 #region-us 


# llm-japanese-dataset
LLM構築用の日本語インストラクション(チャット)データセット

主に，英語で構築されたLLMモデルなどに対して，チャット(Instruction)応答タスクに関してLoRAなどでチューニングするために使用できます．

※様々な公開言語資源を利用させていただきました．関係各位にはこの場を借りて御礼申し上げます．

## updates

2023/5/15にAlpaca datasetがNCにライセンス変更されたことに対応し，安心してご利用いただけるように，データセットから当該データセットをドロップしました．
v1.0.1にて，ドロップ後のデータセットをご利用いただけます．

2024/1/4にWikipedia summaryに空白文字のみで構成される出力を削除することに対応し，Wikipediaのバージョンアップデート(20240101)をしました(v1.0.2)．

2024/1/18にAsian Language Treebank (ALT)データセットの欠損した出力を削除しました(v1.0.3)．


## データの詳細

データの詳細は，以下の論文を参照してください．

- 日本語: URL
- 英語: URL
- GitHub: URL
- 最新情報: URL.

なお，Citationには，よろしければ，以下をご利用ください．


共同研究，データ提供，各種支援，その他問い合わせは，izumi-llm@URL へ．

## How to use


 - version '0.1.0' contains bugs
 - version '0.1.1' contains 8,393,726 data (bug fixed)
 - version '1.0.0' contains 9,097,388 data (added jqac, wikipedia ja typo corpus)
 - version '1.0.1' contains 9,045,386 data (dropped alpaca dataset)
 - version '1.0.2' contains 9,074,350 data (removed samples of blank output and updated version of Wikipedia to 20240101 in Wikipedia summary)
 - version '1.0.3' contains 9,074,340 data (removed samples of blank output in alt)

For more details, see: URL

## LICENSE
CC-BY-SA 4.0
(For more details, see: LICENSE, URL, URL)

## Note
MIT License version is also available on the github release page
URL

To see more latest information, please go to URL.

# llm-japanese-dataset
LLM構築用の日本語インストラクション(チャット)データセット

主に，英語で構築されたLLMモデルなどに対して，チャット(Instruction)応答タスクに関してLoRAなどでチューニングするために使用できます．

※様々な公開言語資源を利用させていただきました．関係各位にはこの場を借りて御礼申し上げます． ## updates

2023/5/15にAlpaca datasetがNCにライセンス変更されたことに対応し，安心してご利用いただけるように，データセットから当該データセットをドロップしました．
v1.0.1にて，ドロップ後のデータセットをご利用いただけます．

2024/1/4にWikipedia summaryに空白文字のみで構成される出力を削除することに対応し，Wikipediaのバージョンアップデート(20240101)をしました(v1.0.2)．

2024/1/18にAsian Language Treebank (ALT)データセットの欠損した出力を削除しました(v1.0.3)． ## データの詳細

データの詳細は，以下の論文を参照してください．

- 日本語: URL
- 英語: URL
- GitHub: URL
- 最新情報: URL.

なお，Citationには，よろしければ，以下をご利用ください．


共同研究，データ提供，各種支援，その他問い合わせは，izumi-llm@URL へ． ## How to use


 - version '0.1.0' contains bugs
 - version '0.1.1' contains 8,393,726 data (bug fixed)
 - version '1.0.0' contains 9,097,388 data (added jqac, wikipedia ja typo corpus)
 - version '1.0.1' contains 9,045,386 data (dropped alpaca dataset)
 - version '1.0.2' contains 9,074,350 data (removed samples of blank output and updated version of Wikipedia to 20240101 in Wikipedia summary)
 - version '1.0.3' contains 9,074,340 data (removed samples of blank output in alt)

For more details, see: URL ## LICENSE
CC-BY-SA 4.0
(For more details, see: LICENSE, URL, URL) ## Note
MIT License version is also available on the github release page
URL

To see more latest information, please go to URL.
TAGS
#size_categories-1M<n<10M #language-Japanese #license-cc-by-sa-4.0 #arxiv-2305.12720 #region-us 
 # llm-japanese-dataset
LLM構築用の日本語インストラクション(チャット)データセット

主に，英語で構築されたLLMモデルなどに対して，チャット(Instruction)応答タスクに関してLoRAなどでチューニングするために使用できます．

※様々な公開言語資源を利用させていただきました．関係各位にはこの場を借りて御礼申し上げます． ## updates

2023/5/15にAlpaca datasetがNCにライセンス変更されたことに対応し，安心してご利用いただけるように，データセットから当該データセットをドロップしました．
v1.0.1にて，ドロップ後のデータセットをご利用いただけます．

2024/1/4にWikipedia summaryに空白文字のみで構成される出力を削除することに対応し，Wikipediaのバージョンアップデート(20240101)をしました(v1.0.2)．

2024/1/18にAsian Language Treebank (ALT)データセットの欠損した出力を削除しました(v1.0.3)． ## データの詳細

データの詳細は，以下の論文を参照してください．

- 日本語: URL
- 英語: URL
- GitHub: URL
- 最新情報: URL.

なお，Citationには，よろしければ，以下をご利用ください．


共同研究，データ提供，各種支援，その他問い合わせは，izumi-llm@URL へ． ## How to use


 - version '0.1.0' contains bugs
 - version '0.1.1' contains 8,393,726 data (bug fixed)
 - version '1.0.0' contains 9,097,388 data (added jqac, wikipedia ja typo corpus)
 - version '1.0.1' contains 9,045,386 data (dropped alpaca dataset)
 - version '1.0.2' contains 9,074,350 data (removed samples of blank output and updated version of Wikipedia to 20240101 in Wikipedia summary)
 - version '1.0.3' contains 9,074,340 data (removed samples of blank output in alt)

For more details, see: URL ## LICENSE
CC-BY-SA 4.0
(For more details, see: LICENSE, URL, URL) ## Note
MIT License version is also available on the github release page
URL

To see more latest information, please go to URL.