
# Dataset Card for MNBVC

## Table of Contents
- [Dataset Card for MNBVC](#dataset-card-for-mnbvc)
  - [Table of Contents](#table-of-contents)
  - [Dataset Description](#dataset-description)
    - [数据集介绍](#数据集介绍)
  - [数据子集](#数据子集)
  - [数据格式](#数据格式)
    - [文本数据](#文本数据)
    - [问答数据](#问答数据)
    - [Contributions](#contributions)

## Dataset Description

- **Homepage:** http://mnbvc.253874.net/
- **Repository:** https://github.com/esbatmop/MNBVC
- **Paper:** N/A
- **Leaderboard:** N/A
- **Point of Contact:** N/A

### 数据集介绍

中文互联网上最古老最神秘(没有之一)的里屋社区于2023.1.1庄重宣布:

在英明神武的里屋管子带领下，决心发挥社区所长(哪都长)，帮助开源社区长期更新一份最大的中文互联网语料集。

Huggingface上的MNBVC数据集在逐渐更新中，请到[https://github.com/esbatmop/MNBVC](https://github.com/esbatmop/MNBVC) 获取未完成清洗的更多数据。

可以使用如下脚本加载：

```python
from datasets import load_dataset
dataset = load_dataset("liwu/MNBVC", 'law_judgement', split='train', streaming=True)

next(iter(dataset))  # get the first line
```


## 数据子集

MNBVC数据集包含数个子集：

- `law_judgement`: 来自法律文书的文本。
- `gov_xuexiqiangguo`: 来自学习强国的文本。
- `gov_report`: 来自政府工作报告的文本。
- `co_ann_report`: 企业年报文本。
- `code_metadata`: 代码元数据。
- `qa_zhihu`: 来自知乎的问答数据。
- `qa_wikihow`: 来自wikihow的问答数据。
- `qa_mfa`: 外交部问答数据。
- `news_peoples_daily`: 来自人民日报的文本数据。
- `wikipedia`: 来自维基百科的文本数据。
- `qa_stackexchange`: 来自StackExchange的问答数据。
- `qa_chatgpt`: 使用ChatGPT构造的问答语料，感谢[genggui001](https://github.com/genggui001)贡献语料。
- `math_qa`: 和数学领域有关的问答数据。
- `math_chat`: 和数学领域有关的对话数据数据，可以提升模型Chain of Thought的能力。
- `crawler_oscar`: 从CommonCrawl中清洗出来的通用文本数据。


## 数据格式

目前MNBVC数据集包含如下几类数据：

- 通用文本
- 问答语料
- 代码语料
- 多轮对话
- 论坛语料
- 平行语料

可以在[MNBVC的wiki页面](https://wiki.mnbvc.org/doku.php/%E7%8E%B0%E6%9C%89%E8%AF%AD%E6%96%99%E6%A0%BC%E5%BC%8F)上查看这几类数据的具体格式。


项目早期所上传的数据使用如下格式，以后这一格式会被废弃，相应数据也会重新上传：
```json
{
    "text": datasets.Value("string"),
    "meta": datasets.Value("string")
}
```

### Contributions

Thanks to the [Liwu community](http://mnbvc.253874.net/) for constructing this dataset.
Thanks to [silver](https://github.com/silverriver) and [jiaming](https://huggingface.co/Yjiaming) for adding and uploading this dataset to Huggingface.
task_categories:text-generation task_categories:fill-mask task_ids:language-modeling task_ids:masked-language-modeling annotations_creators:other language_creators:other multilinguality:monolingual size_categories:unknown source_datasets:original language:zh license:mit region:us
{"annotations_creators": ["other"], "language_creators": ["other"], "language": ["zh"], "license": ["mit"], "multilinguality": ["monolingual"], "size_categories": ["unknown"], "source_datasets": ["original"], "task_categories": ["text-generation", "fill-mask"], "task_ids": ["language-modeling", "masked-language-modeling"], "pretty_name": "MNBVC"}
TAGS
#task_categories-text-generation #task_categories-fill-mask #task_ids-language-modeling #task_ids-masked-language-modeling #annotations_creators-other #language_creators-other #multilinguality-monolingual #size_categories-unknown #source_datasets-original #language-Chinese #license-mit #region-us 


# Dataset Card for MNBVC

## Table of Contents
- Dataset Card for MNBVC
  - Table of Contents
  - Dataset Description
    - 数据集介绍
  - 数据子集
  - 数据格式
    - 文本数据
    - 问答数据
    - Contributions

## Dataset Description

- Homepage: URL
- Repository: URL
- Paper: N/A
- Leaderboard: N/A
- Point of Contact: N/A

### 数据集介绍

中文互联网上最古老最神秘(没有之一)的里屋社区于2023.1.1庄重宣布:

在英明神武的里屋管子带领下，决心发挥社区所长(哪都长)，帮助开源社区长期更新一份最大的中文互联网语料集。

Huggingface上的MNBVC数据集在逐渐更新中，请到https://URL 获取未完成清洗的更多数据。

可以使用如下脚本加载：




## 数据子集

MNBVC数据集包含数个子集：

- 'law_judgement': 来自法律文书的文本。
- 'gov_xuexiqiangguo': 来自学习强国的文本。
- 'gov_report': 来自政府工作报告的文本。
- 'co_ann_report': 企业年报文本。
- 'code_metadata': 代码元数据。
- 'qa_zhihu': 来自知乎的问答数据。
- 'qa_wikihow': 来自wikihow的问答数据。
- 'qa_mfa': 外交部问答数据。
- 'news_peoples_daily': 来自人民日报的文本数据。
- 'wikipedia': 来自维基百科的文本数据。
- 'qa_stackexchange': 来自StackExchange的问答数据。
- 'qa_chatgpt': 使用ChatGPT构造的问答语料，感谢genggui001贡献语料。
- 'math_qa': 和数学领域有关的问答数据。
- 'math_chat': 和数学领域有关的对话数据数据，可以提升模型Chain of Thought的能力。
- 'crawler_oscar': 从CommonCrawl中清洗出来的通用文本数据。


## 数据格式

目前MNBVC数据集包含如下几类数据：

- 通用文本
- 问答语料
- 代码语料
- 多轮对话
- 论坛语料
- 平行语料

可以在MNBVC的wiki页面上查看这几类数据的具体格式。


项目早期所上传的数据使用如下格式，以后这一格式会被废弃，相应数据也会重新上传：


### Contributions

Thanks to the Liwu community for constructing this dataset.
Thanks to silver and jiaming for adding and uploading this dataset to Huggingface.
# Dataset Card for MNBVC ## Table of Contents
- Dataset Card for MNBVC
  - Table of Contents
  - Dataset Description
    - 数据集介绍
  - 数据子集
  - 数据格式
    - 文本数据
    - 问答数据
    - Contributions ## Dataset Description

- Homepage: URL
- Repository: URL
- Paper: N/A
- Leaderboard: N/A
- Point of Contact: N/A ### 数据集介绍

中文互联网上最古老最神秘(没有之一)的里屋社区于2023.1.1庄重宣布:

在英明神武的里屋管子带领下，决心发挥社区所长(哪都长)，帮助开源社区长期更新一份最大的中文互联网语料集。

Huggingface上的MNBVC数据集在逐渐更新中，请到https://URL 获取未完成清洗的更多数据。

可以使用如下脚本加载： ## 数据子集

MNBVC数据集包含数个子集：

- 'law_judgement': 来自法律文书的文本。
- 'gov_xuexiqiangguo': 来自学习强国的文本。
- 'gov_report': 来自政府工作报告的文本。
- 'co_ann_report': 企业年报文本。
- 'code_metadata': 代码元数据。
- 'qa_zhihu': 来自知乎的问答数据。
- 'qa_wikihow': 来自wikihow的问答数据。
- 'qa_mfa': 外交部问答数据。
- 'news_peoples_daily': 来自人民日报的文本数据。
- 'wikipedia': 来自维基百科的文本数据。
- 'qa_stackexchange': 来自StackExchange的问答数据。
- 'qa_chatgpt': 使用ChatGPT构造的问答语料，感谢genggui001贡献语料。
- 'math_qa': 和数学领域有关的问答数据。
- 'math_chat': 和数学领域有关的对话数据数据，可以提升模型Chain of Thought的能力。
- 'crawler_oscar': 从CommonCrawl中清洗出来的通用文本数据。 ## 数据格式

目前MNBVC数据集包含如下几类数据：

- 通用文本
- 问答语料
- 代码语料
- 多轮对话
- 论坛语料
- 平行语料

可以在MNBVC的wiki页面上查看这几类数据的具体格式。


项目早期所上传的数据使用如下格式，以后这一格式会被废弃，相应数据也会重新上传： ### Contributions

Thanks to the Liwu community for constructing this dataset.
Thanks to silver and jiaming for adding and uploading this dataset to Huggingface.
TAGS
#task_categories-text-generation #task_categories-fill-mask #task_ids-language-modeling #task_ids-masked-language-modeling #annotations_creators-other #language_creators-other #multilinguality-monolingual #size_categories-unknown #source_datasets-original #language-Chinese #license-mit #region-us 
 # Dataset Card for MNBVC ## Table of Contents
- Dataset Card for MNBVC
  - Table of Contents
  - Dataset Description
    - 数据集介绍
  - 数据子集
  - 数据格式
    - 文本数据
    - 问答数据
    - Contributions ## Dataset Description

- Homepage: URL
- Repository: URL
- Paper: N/A
- Leaderboard: N/A
- Point of Contact: N/A ### 数据集介绍

中文互联网上最古老最神秘(没有之一)的里屋社区于2023.1.1庄重宣布:

在英明神武的里屋管子带领下，决心发挥社区所长(哪都长)，帮助开源社区长期更新一份最大的中文互联网语料集。

Huggingface上的MNBVC数据集在逐渐更新中，请到https://URL 获取未完成清洗的更多数据。

可以使用如下脚本加载： ## 数据子集

MNBVC数据集包含数个子集：

- 'law_judgement': 来自法律文书的文本。
- 'gov_xuexiqiangguo': 来自学习强国的文本。
- 'gov_report': 来自政府工作报告的文本。
- 'co_ann_report': 企业年报文本。
- 'code_metadata': 代码元数据。
- 'qa_zhihu': 来自知乎的问答数据。
- 'qa_wikihow': 来自wikihow的问答数据。
- 'qa_mfa': 外交部问答数据。
- 'news_peoples_daily': 来自人民日报的文本数据。
- 'wikipedia': 来自维基百科的文本数据。
- 'qa_stackexchange': 来自StackExchange的问答数据。
- 'qa_chatgpt': 使用ChatGPT构造的问答语料，感谢genggui001贡献语料。
- 'math_qa': 和数学领域有关的问答数据。
- 'math_chat': 和数学领域有关的对话数据数据，可以提升模型Chain of Thought的能力。
- 'crawler_oscar': 从CommonCrawl中清洗出来的通用文本数据。 ## 数据格式

目前MNBVC数据集包含如下几类数据：

- 通用文本
- 问答语料
- 代码语料
- 多轮对话
- 论坛语料
- 平行语料

可以在MNBVC的wiki页面上查看这几类数据的具体格式。


项目早期所上传的数据使用如下格式，以后这一格式会被废弃，相应数据也会重新上传： ### Contributions

Thanks to the Liwu community for constructing this dataset.
Thanks to silver and jiaming for adding and uploading this dataset to Huggingface.