
Filtered and modified version of Japanese/Chinese language pair data from [WikiMatrix v1](https://opus.nlpl.eu/WikiMatrix.php).

Process steps:
1. Basic regex based filtering / length checking to remove abnormal pairs.
2. Semantic similarity filtering with a threshold value of 0.6, based on [sentence-transformers/LaBSE](https://huggingface.co/sentence-transformers/LaBSE).
3. Convert all Traditional Chinese sentences into Simplified Chinese with [zhconv](https://github.com/gumblex/zhconv).
------
经过过滤和修改的日语/中文语言对数据，来自[WikiMatrix v1](https://opus.nlpl.eu/WikiMatrix.php)。

处理步骤：
1. 基本的基于正则表达式的过滤/长度检查，以删除异常对。
2. 基于[sentence-transformers/LaBSE](https://huggingface.co/sentence-transformers/LaBSE)的语义相似性过滤，阈值为0.6。
3. 使用[zhconv](https://github.com/gumblex/zhconv)将所有繁体中文句子转换为简体中文。
------
以下はフィルタリングされ修正された日本語/中国語のペアデータです。データ元は[WikiMatrix v1](https://opus.nlpl.eu/WikiMatrix.php)です。

処理手順：
1. 正規表現に基づくフィルタリング/長さのチェックを行い、異常なペアを削除します。
2. [sentence-transformers/LaBSE](https://huggingface.co/sentence-transformers/LaBSE)に基づくセマンティック類似性フィルタリングを行い、閾値は0.6です。
3. [zhconv](https://github.com/gumblex/zhconv)を使って、すべての繁体字中国語の文を簡体字中国語に変換します。
task_categories:translation size_categories:100K<n<1M language:ja language:zh license:cc-by-sa-4.0 region:us
{"language": ["ja", "zh"], "license": "cc-by-sa-4.0", "size_categories": ["100K<n<1M"], "task_categories": ["translation"], "dataset_info": {"features": [{"name": "ja", "dtype": "string"}, {"name": "zh", "dtype": "string"}], "splits": [{"name": "train", "num_bytes": 149036235, "num_examples": 690095}], "download_size": 115870646, "dataset_size": 149036235}}
TAGS
#task_categories-translation #size_categories-100K<n<1M #language-Japanese #language-Chinese #license-cc-by-sa-4.0 #region-us 


Filtered and modified version of Japanese/Chinese language pair data from WikiMatrix v1.

Process steps:
1. Basic regex based filtering / length checking to remove abnormal pairs.
2. Semantic similarity filtering with a threshold value of 0.6, based on sentence-transformers/LaBSE.
3. Convert all Traditional Chinese sentences into Simplified Chinese with zhconv.
------
经过过滤和修改的日语/中文语言对数据，来自WikiMatrix v1。

处理步骤：
1. 基本的基于正则表达式的过滤/长度检查，以删除异常对。
2. 基于sentence-transformers/LaBSE的语义相似性过滤，阈值为0.6。
3. 使用zhconv将所有繁体中文句子转换为简体中文。
------
以下はフィルタリングされ修正された日本語/中国語のペアデータです。データ元はWikiMatrix v1です。

処理手順：
1. 正規表現に基づくフィルタリング/長さのチェックを行い、異常なペアを削除します。
2. sentence-transformers/LaBSEに基づくセマンティック類似性フィルタリングを行い、閾値は0.6です。
3. zhconvを使って、すべての繁体字中国語の文を簡体字中国語に変換します。
TAGS
#task_categories-translation #size_categories-100K<n<1M #language-Japanese #language-Chinese #license-cc-by-sa-4.0 #region-us 
