task_categories:text-generation task_categories:fill-mask task_ids:language-modeling task_ids:masked-language-modeling annotations_creators:other language_creators:other multilinguality:monolingual size_categories:unknown source_datasets:original language:zh license:mit region:us
MNBVC: Massive Never-ending BT Vast Chinese corpus
\
---
annotations_creators:
- other
language:
- zh
language_creators:
- other
license:
- mit
multilinguality:
- monolingual
pretty_name: MNBVC
size_categories:
- unknown
source_datasets:
- original
task_categories:
- text-generation
- fill-mask
task_ids:
- language-modeling
- masked-language-modeling
---

# Dataset Card for MNBVC

## Table of Contents
- [Dataset Card for MNBVC](#dataset-card-for-mnbvc)
  - [Table of Contents](#table-of-contents)
  - [Dataset Description](#dataset-description)
    - [数据集介绍](#数据集介绍)
  - [数据子集](#数据子集)
  - [数据格式](#数据格式)
    - [文本数据](#文本数据)
    - [问答数据](#问答数据)
    - [Contributions](#contributions)

## Dataset Description

- **Homepage:** http://mnbvc.253874.net/
- **Repository:** https://github.com/esbatmop/MNBVC
- **Paper:** N/A
- **Leaderboard:** N/A
- **Point of Contact:** N/A

### 数据集介绍

中文互联网上最古老最神秘(没有之一)的里屋社区于2023.1.1庄重宣布:

在英明神武的里屋管子带领下，决心发挥社区所长(哪都长)，帮助开源社区长期更新一份最大的中文互联网语料集。

Huggingface上的MNBVC数据集在逐渐更新中，请到[https://github.com/esbatmop/MNBVC](https://github.com/esbatmop/MNBVC) 获取未完成清洗的更多数据。

可以使用如下脚本加载：

```python
from datasets import load_dataset
dataset = load_dataset("liwu/MNBVC", 'law_judgement', split='train', streaming=True)

next(iter(dataset))  # get the first line
```


## 数据子集

MNBVC数据集包含数个子集：

- `law_judgement`: 来自法律文书的文本。
- `gov_xuexiqiangguo`: 来自学习强国的文本。
- `gov_report`: 来自政府工作报告的文本。
- `co_ann_report`: 企业年报文本。
- `code_metadata`: 代码元数据。
- `qa_zhihu`: 来自知乎的问答数据。
- `qa_wikihow`: 来自wikihow的问答数据。
- `qa_mfa`: 外交部问答数据。
- `news_peoples_daily`: 来自人民日报的文本数据。
- `wikipedia`: 来自维基百科的文本数据。

## 数据格式

目前MNBVC数据集包含如下[几类数据](https://wiki.mnbvc.org/doku.php/%E7%8E%B0%E6%9C%89%E8%AF%AD%E6%96%99%E6%A0%BC%E5%BC%8F)：

### 文本数据
文本数据使用如下格式组织：
```json
{
    "文件名": datasets.Value("string"),
    "是否待查文件": datasets.Value("bool"),
    "是否重复文件": datasets.Value("bool"),
    "文件大小": datasets.Value("int32"),
    "simhash": datasets.Value("uint64"),
    "最长段落长度": datasets.Value("int32"),
    "段落数": datasets.Value("int32"),
    "去重段落数": datasets.Value("int32"),
    "低质量段落数": datasets.Value("int32"),
    "段落": [
        datasets.Features(
            {
                "行号": datasets.Value("int32"),
                "是否重复": datasets.Value("bool"),
                "是否跨文件重复": datasets.Value("bool"),
                "md5": datasets.Value("string"),
                "内容": datasets.Value("string"),
            }
        )
    ]
}
```

### 问答数据
问答数据使用如下格式组织：
```json
{
    "id": datasets.Value("int32"),
    "问": datasets.Value("string"),
    "答": datasets.Value("string"),
    "来源": datasets.Value("string"),
    "元数据": {
        "create_time": datasets.Value("string"),
        "问题明细": datasets.Value("string"),
        "回答明细": datasets.Value("string"),
        "扩展字段": datasets.Value("string"),
    }
}
```

项目早期所上传的数据使用如下格式，以后这一格式会被废弃，相应数据也会重新上传：
```json
{
    "text": datasets.Value("string"),
    "meta": datasets.Value("string")
}
```


### Contributions

Thanks to the [Liwu community](http://mnbvc.253874.net/) for constructing this dataset.
Thanks to [silver](https://github.com/silverriver) for adding this dataset.