# Dataset Card for "UN Sitemap Multilingual HTML Corpus"

## Update Time +8:00 2023-3-23 17:25:20

## Dataset Summary

此数据集是从联合国网站提供的的sitemap中爬取的，包含了各种语言的HTML文件，并按照语言进行分类。数据集包含了不同语言的文章、新闻等联合国文本。数据集旨在为研究人员、学者和语言技术开发人员提供一个多语言文本集，可用于各种自然语言处理任务和应用。

数据集包括以下语言：汉语（zh）、英语（en）、西班牙语（ar）、俄语（ru）、西班牙语（es）、法语（fr）。

## Dataset Structure

### Data Instances

- **数据集文件大小:** 约 14 GB


一个 'zh' 的例子如下：
```
{
  'uuid': 'a154688c-b385-4d2a-bec7-f239f1397d21',
  'url': 'https://news.un.org/zh/gallery/287612',
  'title': '印度尼西亚承诺到2022年消除一切形式的童工现象'，
  'html_content': '<!DOCTYPE html> <html lang="zh-hans" ...'
}
```


# How to use
```python
from datasets import load_dataset
import datasets


dataset = load_dataset('ranWang/UN_Sitemap_Multilingual_HTML_Corpus')

#   lang_list = ['zh', 'en', 'fr', 'es', 'ru', 'ar']
for lang in dataset:
    for colum in dataset[lang]:
#       colum.keys = ['uuid', 'url', 'title', 'html_content']
#       code...

OR 

# you want to specify the language
dataset = load_dataset('ranWang/UN_Sitemap_Multilingual_HTML_Corpus', split={lang})

for colum in dataset:
#   colum.keys = ['uuid', 'url', 'title', 'html_content']
#   code...



```
region:us
{"dataset_info": {"features": [{"name": "uuid", "dtype": "string"}, {"name": "url", "dtype": "string"}, {"name": "title", "dtype": "string"}, {"name": "html_content", "dtype": "string"}], "splits": [{"name": "zh", "num_bytes": 4667272633, "num_examples": 39850}, {"name": "en", "num_bytes": 8180560380, "num_examples": 67374}, {"name": "ar", "num_bytes": 4456751663, "num_examples": 35807}, {"name": "ru", "num_bytes": 4311781034, "num_examples": 34774}, {"name": "es", "num_bytes": 5336518150, "num_examples": 44877}, {"name": "fr", "num_bytes": 5709424711, "num_examples": 46756}], "download_size": 0, "dataset_size": 32662308571}}
TAGS
#region-us 

# Dataset Card for "UN Sitemap Multilingual HTML Corpus"

## Update Time +8:00 2023-3-23 17:25:20

## Dataset Summary

此数据集是从联合国网站提供的的sitemap中爬取的，包含了各种语言的HTML文件，并按照语言进行分类。数据集包含了不同语言的文章、新闻等联合国文本。数据集旨在为研究人员、学者和语言技术开发人员提供一个多语言文本集，可用于各种自然语言处理任务和应用。

数据集包括以下语言：汉语（zh）、英语（en）、西班牙语（ar）、俄语（ru）、西班牙语（es）、法语（fr）。

## Dataset Structure

### Data Instances

- 数据集文件大小: 约 14 GB


一个 'zh' 的例子如下：



# How to use

# Dataset Card for "UN Sitemap Multilingual HTML Corpus" ## Update Time +8:00 2023-3-23 17:25:20 ## Dataset Summary

此数据集是从联合国网站提供的的sitemap中爬取的，包含了各种语言的HTML文件，并按照语言进行分类。数据集包含了不同语言的文章、新闻等联合国文本。数据集旨在为研究人员、学者和语言技术开发人员提供一个多语言文本集，可用于各种自然语言处理任务和应用。

数据集包括以下语言：汉语（zh）、英语（en）、西班牙语（ar）、俄语（ru）、西班牙语（es）、法语（fr）。 ## Dataset Structure ### Data Instances

- 数据集文件大小: 约 14 GB


一个 'zh' 的例子如下： # How to use
TAGS
#region-us 
 # Dataset Card for "UN Sitemap Multilingual HTML Corpus" ## Update Time +8:00 2023-3-23 17:25:20 ## Dataset Summary

此数据集是从联合国网站提供的的sitemap中爬取的，包含了各种语言的HTML文件，并按照语言进行分类。数据集包含了不同语言的文章、新闻等联合国文本。数据集旨在为研究人员、学者和语言技术开发人员提供一个多语言文本集，可用于各种自然语言处理任务和应用。

数据集包括以下语言：汉语（zh）、英语（en）、西班牙语（ar）、俄语（ru）、西班牙语（es）、法语（fr）。 ## Dataset Structure ### Data Instances

- 数据集文件大小: 约 14 GB


一个 'zh' 的例子如下： # How to use