size_categories:10K<n<100K language:ja region:us
---
language:
- ja
size_categories:
- 10K<n<100K
dataset_info:
  features:
  - name: qid
    dtype: string
  - name: competition
    dtype: string
  - name: timestamp
    dtype: string
  - name: section
    dtype: string
  - name: number
    dtype: string
  - name: original_question
    dtype: string
  - name: original_answer
    dtype: string
  - name: original_additional_info
    dtype: string
  - name: question
    dtype: string
  - name: answers
    list: string
  - name: passages
    list:
    - name: passage_id
      dtype: int32
    - name: title
      dtype: string
    - name: text
      dtype: string
  - name: positive_passage_indices
    list: int32
  - name: negative_passage_indices
    list: int32
  splits:
  - name: train
    num_bytes: 1742881639
    num_examples: 22335
  - name: validation
    num_bytes: 78671502
    num_examples: 1000
  download_size: 665253451
  dataset_size: 1821553141
---

# Dataset Card for llm-book/aio-retriever

書籍『大規模言語モデル入門』で使用する、「AI王」コンペティションのQAデータセット（文書検索モデル訓練用）です。
GitHub リポジトリ [cl-tohoku/quiz-datasets](https://github.com/cl-tohoku/quiz-datasets) で公開されているデータセットを利用しています。

## Licence

本データセットに含まれる一部のクイズ問題の著作権は [abc/EQIDEN 実行委員会](https://abc-dive.com/portal/)に帰属するものであり、これらのクイズ問題は本書における使用許諾を得ているものです。

本データセットに含まれる一部のクイズ問題は[株式会社キュービック](http://www.qbik.co.jp/)および[株式会社カプリティオ](https://capriccio.tokyo/)に依頼し作成したものであり、これらのクイズ問題は[クリエイティブ・コモンズ表示・継承ライセンス 4.0 (CC BY-SA 4.0)](https://creativecommons.org/licenses/by-sa/4.0/deed.ja) ライセンスの下に提供されています。

本データセットにパッセージとして付与されている Wikipedia のコンテンツは、[クリエイティブ・コモンズ表示・継承ライセンス 3.0 (CC BY-SA 3.0)](https://creativecommons.org/licenses/by-sa/3.0/deed.ja) および [GNU 自由文書ライセンス (GFDL)](https://www.gnu.org/licenses/fdl.html) の下に配布されているものです。

クイズ問題のライセンスについて、詳細は [cl-tohoku/quiz-datasets](https://github.com/cl-tohoku/quiz-datasets) を参照してください。
