
# Dataset Card for llm-book/aio-passages-bert-base-japanese-v3-bpr

書籍『大規模言語モデル入門』で使用する、「AI王」コンペティションのパッセージデータセットに BPR によるパッセージの埋め込みを適用したデータセットです。
[llm-book/aio-passages](https://huggingface.co/datasets/llm-book/aio-passages) のデータセットに対して、[llm-book/bert-base-japanese-v3-bpr-passage-encoder](https://huggingface.co/llm-book/bert-base-japanese-v3-bpr-passage-encoder) によるパッセージのバイナリベクトルが `embeddings` フィールドに追加されています。

## Licence

本データセットで利用している Wikipedia のコンテンツは、[クリエイティブ・コモンズ表示・継承ライセンス 3.0 (CC BY-SA 3.0)](https://creativecommons.org/licenses/by-sa/3.0/deed.ja) および [GNU 自由文書ライセンス (GFDL)](https://www.gnu.org/licenses/fdl.html) の下に配布されているものです。
size_categories:1M<n<10M language:ja license:cc-by-sa-3.0 license:gfdl region:us
{"language": ["ja"], "license": ["cc-by-sa-3.0", "gfdl"], "size_categories": ["1M<n<10M"], "dataset_info": {"features": [{"name": "id", "dtype": "int32"}, {"name": "pageid", "dtype": "int32"}, {"name": "revid", "dtype": "int32"}, {"name": "text", "dtype": "string"}, {"name": "section", "dtype": "string"}, {"name": "title", "dtype": "string"}, {"name": "embeddings", "sequence": "uint8"}], "splits": [{"name": "train", "num_bytes": 3483313719, "num_examples": 4288198}], "download_size": 2160522807, "dataset_size": 3483313719}}
TAGS
#size_categories-1M<n<10M #language-Japanese #license-cc-by-sa-3.0 #license-gfdl #region-us 


# Dataset Card for llm-book/aio-passages-bert-base-japanese-v3-bpr

書籍『大規模言語モデル入門』で使用する、「AI王」コンペティションのパッセージデータセットに BPR によるパッセージの埋め込みを適用したデータセットです。
llm-book/aio-passages のデータセットに対して、llm-book/bert-base-japanese-v3-bpr-passage-encoder によるパッセージのバイナリベクトルが 'embeddings' フィールドに追加されています。

## Licence

本データセットで利用している Wikipedia のコンテンツは、クリエイティブ・コモンズ表示・継承ライセンス 3.0 (CC BY-SA 3.0) および GNU 自由文書ライセンス (GFDL) の下に配布されているものです。
# Dataset Card for llm-book/aio-passages-bert-base-japanese-v3-bpr

書籍『大規模言語モデル入門』で使用する、「AI王」コンペティションのパッセージデータセットに BPR によるパッセージの埋め込みを適用したデータセットです。
llm-book/aio-passages のデータセットに対して、llm-book/bert-base-japanese-v3-bpr-passage-encoder によるパッセージのバイナリベクトルが 'embeddings' フィールドに追加されています。 ## Licence

本データセットで利用している Wikipedia のコンテンツは、クリエイティブ・コモンズ表示・継承ライセンス 3.0 (CC BY-SA 3.0) および GNU 自由文書ライセンス (GFDL) の下に配布されているものです。
TAGS
#size_categories-1M<n<10M #language-Japanese #license-cc-by-sa-3.0 #license-gfdl #region-us 
 # Dataset Card for llm-book/aio-passages-bert-base-japanese-v3-bpr

書籍『大規模言語モデル入門』で使用する、「AI王」コンペティションのパッセージデータセットに BPR によるパッセージの埋め込みを適用したデータセットです。
llm-book/aio-passages のデータセットに対して、llm-book/bert-base-japanese-v3-bpr-passage-encoder によるパッセージのバイナリベクトルが 'embeddings' フィールドに追加されています。 ## Licence

本データセットで利用している Wikipedia のコンテンツは、クリエイティブ・コモンズ表示・継承ライセンス 3.0 (CC BY-SA 3.0) および GNU 自由文書ライセンス (GFDL) の下に配布されているものです。