
## Dataset Description

- **Homepage:** http://mnbvc.253874.net/
- **Repository:** https://github.com/esbatmop/MNBVC
- **Paper:** N/A
- **Leaderboard:** N/A
- **Point of Contact:** N/A

（正在进行中）本仓库希望将已经发布在huggingface上的高质量的几个子集处理成纯文本格式，方便大家训练模型的时候使用。

原MNBVC仓库的文本数据的组织格式并不是可以直接用来训练的纯文本数据，而是将每个文件内的各行文本分别存储（为了方便去重等操作）的jsonl格式(如下所示)


```json
{
    "文件名": datasets.Value("string"),
    "是否待查文件": datasets.Value("bool"),
    "是否重复文件": datasets.Value("bool"),
    "文件大小": datasets.Value("int32"),
    "simhash": datasets.Value("uint64"),
    "最长段落长度": datasets.Value("int32"),
    "段落数": datasets.Value("int32"),
    "去重段落数": datasets.Value("int32"),
    "低质量段落数": datasets.Value("int32"),
    "段落": [
        datasets.Features(
            {
                "行号": datasets.Value("int32"),
                "是否重复": datasets.Value("bool"),
                "是否跨文件重复": datasets.Value("bool"),
                "md5": datasets.Value("string"),
                "内容": datasets.Value("string"),
            }
        )
    ]
}
```

### 问答数据
问答数据使用如下格式组织：
```json
{
    "id": datasets.Value("int32"),
    "问": datasets.Value("string"),
    "答": datasets.Value("string"),
    "来源": datasets.Value("string"),
    "元数据": {
        "create_time": datasets.Value("string"),
        "问题明细": datasets.Value("string"),
        "回答明细": datasets.Value("string"),
        "扩展字段": datasets.Value("string"),
    }
}
```

项目早期所上传的数据使用如下格式，以后这一格式会被废弃，相应数据也会重新上传：
```json
{
    "text": datasets.Value("string"),
    "meta": datasets.Value("string")
}
```
task_categories:text-generation task_categories:fill-mask task_ids:language-modeling task_ids:masked-language-modeling annotations_creators:other language_creators:other multilinguality:monolingual size_categories:unknown source_datasets:original language:zh license:mit region:us
{"annotations_creators": ["other"], "language_creators": ["other"], "language": ["zh"], "license": ["mit"], "multilinguality": ["monolingual"], "size_categories": ["unknown"], "source_datasets": ["original"], "task_categories": ["text-generation", "fill-mask"], "task_ids": ["language-modeling", "masked-language-modeling"], "pretty_name": "MNBVC_ready"}
TAGS
#task_categories-text-generation #task_categories-fill-mask #task_ids-language-modeling #task_ids-masked-language-modeling #annotations_creators-other #language_creators-other #multilinguality-monolingual #size_categories-unknown #source_datasets-original #language-Chinese #license-mit #region-us 


## Dataset Description

- Homepage: URL
- Repository: URL
- Paper: N/A
- Leaderboard: N/A
- Point of Contact: N/A

（正在进行中）本仓库希望将已经发布在huggingface上的高质量的几个子集处理成纯文本格式，方便大家训练模型的时候使用。

原MNBVC仓库的文本数据的组织格式并不是可以直接用来训练的纯文本数据，而是将每个文件内的各行文本分别存储（为了方便去重等操作）的jsonl格式(如下所示)




### 问答数据
问答数据使用如下格式组织：


项目早期所上传的数据使用如下格式，以后这一格式会被废弃，相应数据也会重新上传：

## Dataset Description

- Homepage: URL
- Repository: URL
- Paper: N/A
- Leaderboard: N/A
- Point of Contact: N/A

（正在进行中）本仓库希望将已经发布在huggingface上的高质量的几个子集处理成纯文本格式，方便大家训练模型的时候使用。

原MNBVC仓库的文本数据的组织格式并不是可以直接用来训练的纯文本数据，而是将每个文件内的各行文本分别存储（为了方便去重等操作）的jsonl格式(如下所示) ### 问答数据
问答数据使用如下格式组织：


项目早期所上传的数据使用如下格式，以后这一格式会被废弃，相应数据也会重新上传：
TAGS
#task_categories-text-generation #task_categories-fill-mask #task_ids-language-modeling #task_ids-masked-language-modeling #annotations_creators-other #language_creators-other #multilinguality-monolingual #size_categories-unknown #source_datasets-original #language-Chinese #license-mit #region-us 
 ## Dataset Description

- Homepage: URL
- Repository: URL
- Paper: N/A
- Leaderboard: N/A
- Point of Contact: N/A

（正在进行中）本仓库希望将已经发布在huggingface上的高质量的几个子集处理成纯文本格式，方便大家训练模型的时候使用。

原MNBVC仓库的文本数据的组织格式并不是可以直接用来训练的纯文本数据，而是将每个文件内的各行文本分别存储（为了方便去重等操作）的jsonl格式(如下所示) ### 问答数据
问答数据使用如下格式组织：


项目早期所上传的数据使用如下格式，以后这一格式会被废弃，相应数据也会重新上传：
passage: TAGS
#task_categories-text-generation #task_categories-fill-mask #task_ids-language-modeling #task_ids-masked-language-modeling #annotations_creators-other #language_creators-other #multilinguality-monolingual #size_categories-unknown #source_datasets-original #language-Chinese #license-mit #region-us 
## Dataset Description

- Homepage: URL
- Repository: URL
- Paper: N/A
- Leaderboard: N/A
- Point of Contact: N/A

（正在进行中）本仓库希望将已经发布在huggingface上的高质量的几个子集处理成纯文本格式，方便大家训练模型的时候使用。

原MNBVC仓库的文本数据的组织格式并不是可以直接用来训练的纯文本数据，而是将每个文件内的各行文本分别存储（为了方便去重等操作）的jsonl格式(如下所示)### 问答数据
问答数据使用如下格式组织：


项目早期所上传的数据使用如下格式，以后这一格式会被废弃，相应数据也会重新上传：