# Dataset Card for "CCMatrix-v1-Ja_Zh-filtered"
------
Filtered and modified version of Japanese/Chinese language pair data from [CCMatrix v1](https://opus.nlpl.eu/CCMatrix.php).

Process steps:
1. Basic regex based filtering / length checking to remove abnormal pairs.
2. Semantic similarity filtering with a threshold value of 0.6, based on [sentence-transformers/LaBSE](https://huggingface.co/sentence-transformers/LaBSE).
3. Convert all Traditional Chinese sentences into Simplified Chinese with [zhconv](https://github.com/gumblex/zhconv).
------
经过过滤和修改的日语/中文语言对数据，来自[CCMatrix v1](https://opus.nlpl.eu/CCMatrix.php)。

处理步骤：
1. 基本的基于正则表达式的过滤/长度检查，以删除异常对。
2. 基于[sentence-transformers/LaBSE](https://huggingface.co/sentence-transformers/LaBSE)的语义相似性过滤，阈值为0.6。
3. 使用[zhconv](https://github.com/gumblex/zhconv)将所有繁体中文句子转换为简体中文。
------
以下はフィルタリングされ修正された日本語/中国語のペアデータです。データ元は[CCMatrix v1](https://opus.nlpl.eu/CCMatrix.php)です。

処理手順：
1. 正規表現に基づくフィルタリング/長さのチェックを行い、異常なペアを削除します。
2. [sentence-transformers/LaBSE](https://huggingface.co/sentence-transformers/LaBSE)に基づくセマンティック類似性フィルタリングを行い、閾値は0.6です。
3. [zhconv](https://github.com/gumblex/zhconv)を使って、すべての繁体字中国語の文を簡体字中国語に変換します。
task_categories:translation language:zh language:ja region:us
{"language": ["zh", "ja"], "task_categories": ["translation"], "pretty_name": "cc", "dataset_info": {"features": [{"name": "ja", "dtype": "string"}, {"name": "zh", "dtype": "string"}], "splits": [{"name": "train", "num_bytes": 847526347, "num_examples": 5686275}], "download_size": 651183008, "dataset_size": 847526347}}
TAGS
#task_categories-translation #language-Chinese #language-Japanese #region-us 

# Dataset Card for "CCMatrix-v1-Ja_Zh-filtered"
------
Filtered and modified version of Japanese/Chinese language pair data from CCMatrix v1.

Process steps:
1. Basic regex based filtering / length checking to remove abnormal pairs.
2. Semantic similarity filtering with a threshold value of 0.6, based on sentence-transformers/LaBSE.
3. Convert all Traditional Chinese sentences into Simplified Chinese with zhconv.
------
经过过滤和修改的日语/中文语言对数据，来自CCMatrix v1。

处理步骤：
1. 基本的基于正则表达式的过滤/长度检查，以删除异常对。
2. 基于sentence-transformers/LaBSE的语义相似性过滤，阈值为0.6。
3. 使用zhconv将所有繁体中文句子转换为简体中文。
------
以下はフィルタリングされ修正された日本語/中国語のペアデータです。データ元はCCMatrix v1です。

処理手順：
1. 正規表現に基づくフィルタリング/長さのチェックを行い、異常なペアを削除します。
2. sentence-transformers/LaBSEに基づくセマンティック類似性フィルタリングを行い、閾値は0.6です。
3. zhconvを使って、すべての繁体字中国語の文を簡体字中国語に変換します。
# Dataset Card for "CCMatrix-v1-Ja_Zh-filtered"
------
Filtered and modified version of Japanese/Chinese language pair data from CCMatrix v1.

Process steps:
1. Basic regex based filtering / length checking to remove abnormal pairs.
2. Semantic similarity filtering with a threshold value of 0.6, based on sentence-transformers/LaBSE.
3. Convert all Traditional Chinese sentences into Simplified Chinese with zhconv.
------
经过过滤和修改的日语/中文语言对数据，来自CCMatrix v1。

处理步骤：
1. 基本的基于正则表达式的过滤/长度检查，以删除异常对。
2. 基于sentence-transformers/LaBSE的语义相似性过滤，阈值为0.6。
3. 使用zhconv将所有繁体中文句子转换为简体中文。
------
以下はフィルタリングされ修正された日本語/中国語のペアデータです。データ元はCCMatrix v1です。

処理手順：
1. 正規表現に基づくフィルタリング/長さのチェックを行い、異常なペアを削除します。
2. sentence-transformers/LaBSEに基づくセマンティック類似性フィルタリングを行い、閾値は0.6です。
3. zhconvを使って、すべての繁体字中国語の文を簡体字中国語に変換します。
TAGS
#task_categories-translation #language-Chinese #language-Japanese #region-us 
 # Dataset Card for "CCMatrix-v1-Ja_Zh-filtered"
------
Filtered and modified version of Japanese/Chinese language pair data from CCMatrix v1.

Process steps:
1. Basic regex based filtering / length checking to remove abnormal pairs.
2. Semantic similarity filtering with a threshold value of 0.6, based on sentence-transformers/LaBSE.
3. Convert all Traditional Chinese sentences into Simplified Chinese with zhconv.
------
经过过滤和修改的日语/中文语言对数据，来自CCMatrix v1。

处理步骤：
1. 基本的基于正则表达式的过滤/长度检查，以删除异常对。
2. 基于sentence-transformers/LaBSE的语义相似性过滤，阈值为0.6。
3. 使用zhconv将所有繁体中文句子转换为简体中文。
------
以下はフィルタリングされ修正された日本語/中国語のペアデータです。データ元はCCMatrix v1です。

処理手順：
1. 正規表現に基づくフィルタリング/長さのチェックを行い、異常なペアを削除します。
2. sentence-transformers/LaBSEに基づくセマンティック類似性フィルタリングを行い、閾値は0.6です。
3. zhconvを使って、すべての繁体字中国語の文を簡体字中国語に変換します。
passage: TAGS
#task_categories-translation #language-Chinese #language-Japanese #region-us 
# Dataset Card for "CCMatrix-v1-Ja_Zh-filtered"
------
Filtered and modified version of Japanese/Chinese language pair data from CCMatrix v1.

Process steps:
1. Basic regex based filtering / length checking to remove abnormal pairs.
2. Semantic similarity filtering with a threshold value of 0.6, based on sentence-transformers/LaBSE.
3. Convert all Traditional Chinese sentences into Simplified Chinese with zhconv.
------
经过过滤和修改的日语/中文语言对数据，来自CCMatrix v1。

处理步骤：
1. 基本的基于正则表达式的过滤/长度检查，以删除异常对。
2. 基于sentence-transformers/LaBSE的语义相似性过滤，阈值为0.6。
3. 使用zhconv将所有繁体中文句子转换为简体中文。
------
以下はフィルタリングされ修正された日本語/中国語のペアデータです。データ元はCCMatrix v1です。

処理手順：
1. 正規表現に基づくフィルタリング/長さのチェックを行い、異常なペアを削除します。
2. sentence-transformers/LaBSEに基づくセマンティック類似性フィルタリングを行い、閾値は0.6です。
3. zhconvを使って、すべての繁体字中国語の文を簡体字中国語に変換します。