size_categories:1M<n<10M language:ja license:cc-by-sa-3.0 license:gfdl region:us
---
language:
- ja
size_categories:
- 1M<n<10M
license:
- cc-by-sa-3.0
- gfdl
dataset_info:
  features:
  - name: id
    dtype: int32
  - name: pageid
    dtype: int32
  - name: revid
    dtype: int32
  - name: text
    dtype: string
  - name: section
    dtype: string
  - name: title
    dtype: string
  - name: embeddings
    sequence: uint8
  splits:
  - name: train
    num_bytes: 3483313719
    num_examples: 4288198
  download_size: 2160522807
  dataset_size: 3483313719
---

# Dataset Card for llm-book/aio-passages-bert-base-japanese-v3-bpr

書籍『大規模言語モデル入門』で使用する、「AI王」コンペティションのパッセージデータセットに BPR によるパッセージの埋め込みを適用したデータセットです。
[llm-book/aio-passages](https://huggingface.co/datasets/llm-book/aio-passages) のデータセットに対して、[llm-book/bert-base-japanese-v3-bpr-passage-encoder](https://huggingface.co/llm-book/bert-base-japanese-v3-bpr-passage-encoder) によるパッセージのバイナリベクトルが `embeddings` フィールドに追加されています。

## Licence

本データセットで利用している Wikipedia のコンテンツは、[クリエイティブ・コモンズ表示・継承ライセンス 3.0 (CC BY-SA 3.0)](https://creativecommons.org/licenses/by-sa/3.0/deed.ja) および [GNU 自由文書ライセンス (GFDL)](https://www.gnu.org/licenses/fdl.html) の下に配布されているものです。