
# Dataset Card for llm-book/jawiki-paragraphs

書籍『大規模言語モデル入門』で使用する Wikipedia 段落のデータセットです。
GitHub リポジトリ [singletongue/wikipedia-utils](https://github.com/singletongue/wikipedia-utils) で公開されているデータセットを利用しています。

## Licence

本データセットで使用している Wikipedia のコンテンツは、[クリエイティブ・コモンズ表示・継承ライセンス 3.0 (CC BY-SA 3.0)](https://creativecommons.org/licenses/by-sa/3.0/deed.ja) および [GNU 自由文書ライセンス (GFDL)](https://www.gnu.org/licenses/fdl.html) の下に配布されているものです。

size_categories:1M<n<10M language:ja license:cc-by-sa-3.0 license:gfdl region:us
{"language": ["ja"], "license": ["cc-by-sa-3.0", "gfdl"], "size_categories": ["1M<n<10M"], "dataset_info": {"features": [{"name": "id", "dtype": "string"}, {"name": "pageid", "dtype": "int64"}, {"name": "revid", "dtype": "int64"}, {"name": "paragraph_index", "dtype": "int64"}, {"name": "title", "dtype": "string"}, {"name": "section", "dtype": "string"}, {"name": "text", "dtype": "string"}, {"name": "html_tag", "dtype": "string"}], "splits": [{"name": "train", "num_bytes": 4417130987, "num_examples": 9668476}], "download_size": 1489512230, "dataset_size": 4417130987}}
TAGS
#size_categories-1M<n<10M #language-Japanese #license-cc-by-sa-3.0 #license-gfdl #region-us 


# Dataset Card for llm-book/jawiki-paragraphs

書籍『大規模言語モデル入門』で使用する Wikipedia 段落のデータセットです。
GitHub リポジトリ singletongue/wikipedia-utils で公開されているデータセットを利用しています。

## Licence

本データセットで使用している Wikipedia のコンテンツは、クリエイティブ・コモンズ表示・継承ライセンス 3.0 (CC BY-SA 3.0) および GNU 自由文書ライセンス (GFDL) の下に配布されているものです。

# Dataset Card for llm-book/jawiki-paragraphs

書籍『大規模言語モデル入門』で使用する Wikipedia 段落のデータセットです。
GitHub リポジトリ singletongue/wikipedia-utils で公開されているデータセットを利用しています。 ## Licence

本データセットで使用している Wikipedia のコンテンツは、クリエイティブ・コモンズ表示・継承ライセンス 3.0 (CC BY-SA 3.0) および GNU 自由文書ライセンス (GFDL) の下に配布されているものです。
TAGS
#size_categories-1M<n<10M #language-Japanese #license-cc-by-sa-3.0 #license-gfdl #region-us 
 # Dataset Card for llm-book/jawiki-paragraphs

書籍『大規模言語モデル入門』で使用する Wikipedia 段落のデータセットです。
GitHub リポジトリ singletongue/wikipedia-utils で公開されているデータセットを利用しています。 ## Licence

本データセットで使用している Wikipedia のコンテンツは、クリエイティブ・コモンズ表示・継承ライセンス 3.0 (CC BY-SA 3.0) および GNU 自由文書ライセンス (GFDL) の下に配布されているものです。