
# llm-japanese-dataset-vanilla
LLM構築用の日本語チャットデータセット

[izumi-lab/llm-japanese-dataset](https://huggingface.co/datasets/izumi-lab/llm-japanese-dataset) から，日英翻訳のデータセット等を抜いたものです．

主に，日本語LLMモデルなどに対して，チャット(Instruction)応答タスクに関してLoRAなどでチューニングするために使用できます．

※様々な公開言語資源を利用させていただきました．関係各位にはこの場を借りて御礼申し上げます．

## データの詳細

データの詳細は，[izumi-lab/llm-japanese-dataset](https://huggingface.co/datasets/izumi-lab/llm-japanese-dataset) に関する，以下の論文を参照してください．

- 日本語: [https://jxiv.jst.go.jp/index.php/jxiv/preprint/view/383](https://jxiv.jst.go.jp/index.php/jxiv/preprint/view/383)
- 英語: [https://arxiv.org/abs/2305.12720](https://arxiv.org/abs/2305.12720)
- GitHub: [https://github.com/masanorihirano/llm-japanese-dataset](https://github.com/masanorihirano/llm-japanese-dataset)
- 最新情報: [llm.msuzuki.me](https://llm.msuzuki.me).

なお，Citationには，よろしければ，以下をご利用ください．
```
@inproceedings{Suzuki2023-llm-japanese-vanilla,
  title={{From Base to Conversational: Japanese Instruction Dataset and Tuning Large Language Models}},
  author={Masahiro Suzuki and Masanori Hirano and Hiroki Sakaji},
  booktitle={2023 IEEE International Conference on Big Data (BigData)}, 
  year={2023},
  pages={5684-5693},
  doi={10.1109/BigData59044.2023.10386605}
}
```

共同研究，データ提供，各種支援，その他問い合わせは，izumi-llm@socsim.org へ．

## How to use
```python
from datasets import load_dataset
# latest version
dataset = load_dataset("izumi-lab/llm-japanese-dataset-vanilla")

# v0.1.0
dataset = load_dataset("izumi-lab/llm-japanese-dataset-vanilla", revision="0.1.0")
print(dataset.num_rows)
# {'train': 1811964}

# v1.0.0
dataset = load_dataset("izumi-lab/llm-japanese-dataset-vanilla", revision="1.0.0")
print(dataset.num_rows)
# {'train': 2515626}
```

v0.1.0 contains 1,811,964 data
v1.0.0 contains 2,515,626 data
v1.0.2 contains 2,492,588 data

For more details, see: https://github.com/masanorihirano/llm-japanese-dataset/tree/vanilla

## LICENSE
CC-BY-SA 4.0
(For more details, see: LICENSE, NOTICE.md, NOTICE2.md)

## Note
To see more latest information, please go to [llm.msuzuki.me](https://llm.msuzuki.me).


size_categories:1M<n<10M language:ja license:cc-by-sa-4.0 arxiv:2305.12720 region:us
{"language": ["ja"], "license": "cc-by-sa-4.0", "size_categories": ["1M<n<10M"]}
TAGS
#size_categories-1M<n<10M #language-Japanese #license-cc-by-sa-4.0 #arxiv-2305.12720 #region-us 


# llm-japanese-dataset-vanilla
LLM構築用の日本語チャットデータセット

izumi-lab/llm-japanese-dataset から，日英翻訳のデータセット等を抜いたものです．

主に，日本語LLMモデルなどに対して，チャット(Instruction)応答タスクに関してLoRAなどでチューニングするために使用できます．

※様々な公開言語資源を利用させていただきました．関係各位にはこの場を借りて御礼申し上げます．

## データの詳細

データの詳細は，izumi-lab/llm-japanese-dataset に関する，以下の論文を参照してください．

- 日本語: URL
- 英語: URL
- GitHub: URL
- 最新情報: URL.

なお，Citationには，よろしければ，以下をご利用ください．


共同研究，データ提供，各種支援，その他問い合わせは，izumi-llm@URL へ．

## How to use


v0.1.0 contains 1,811,964 data
v1.0.0 contains 2,515,626 data
v1.0.2 contains 2,492,588 data

For more details, see: URL

## LICENSE
CC-BY-SA 4.0
(For more details, see: LICENSE, URL, URL)

## Note
To see more latest information, please go to URL.


# llm-japanese-dataset-vanilla
LLM構築用の日本語チャットデータセット

izumi-lab/llm-japanese-dataset から，日英翻訳のデータセット等を抜いたものです．

主に，日本語LLMモデルなどに対して，チャット(Instruction)応答タスクに関してLoRAなどでチューニングするために使用できます．

※様々な公開言語資源を利用させていただきました．関係各位にはこの場を借りて御礼申し上げます． ## データの詳細

データの詳細は，izumi-lab/llm-japanese-dataset に関する，以下の論文を参照してください．

- 日本語: URL
- 英語: URL
- GitHub: URL
- 最新情報: URL.

なお，Citationには，よろしければ，以下をご利用ください．


共同研究，データ提供，各種支援，その他問い合わせは，izumi-llm@URL へ． ## How to use


v0.1.0 contains 1,811,964 data
v1.0.0 contains 2,515,626 data
v1.0.2 contains 2,492,588 data

For more details, see: URL ## LICENSE
CC-BY-SA 4.0
(For more details, see: LICENSE, URL, URL) ## Note
To see more latest information, please go to URL.
TAGS
#size_categories-1M<n<10M #language-Japanese #license-cc-by-sa-4.0 #arxiv-2305.12720 #region-us 
 # llm-japanese-dataset-vanilla
LLM構築用の日本語チャットデータセット

izumi-lab/llm-japanese-dataset から，日英翻訳のデータセット等を抜いたものです．

主に，日本語LLMモデルなどに対して，チャット(Instruction)応答タスクに関してLoRAなどでチューニングするために使用できます．

※様々な公開言語資源を利用させていただきました．関係各位にはこの場を借りて御礼申し上げます． ## データの詳細

データの詳細は，izumi-lab/llm-japanese-dataset に関する，以下の論文を参照してください．

- 日本語: URL
- 英語: URL
- GitHub: URL
- 最新情報: URL.

なお，Citationには，よろしければ，以下をご利用ください．


共同研究，データ提供，各種支援，その他問い合わせは，izumi-llm@URL へ． ## How to use


v0.1.0 contains 1,811,964 data
v1.0.0 contains 2,515,626 data
v1.0.2 contains 2,492,588 data

For more details, see: URL ## LICENSE
CC-BY-SA 4.0
(For more details, see: LICENSE, URL, URL) ## Note
To see more latest information, please go to URL.