task_categories:translation language:zh language:ja region:us
---
dataset_info:
  features:
  - name: ja
    dtype: string
  - name: zh
    dtype: string
  splits:
  - name: train
    num_bytes: 847526347
    num_examples: 5686275
  download_size: 651183008
  dataset_size: 847526347
task_categories:
- translation
language:
- zh
- ja
pretty_name: cc
---
# Dataset Card for "CCMatrix-v1-Ja_Zh-filtered"
------
Filtered and modified version of Japanese/Chinese language pair data from [CCMatrix v1](https://opus.nlpl.eu/CCMatrix.php).

Process steps:
1. Basic regex based filtering / length checking to remove abnormal pairs.
2. Semantic similarity filtering with a threshold value of 0.6, based on [sentence-transformers/LaBSE](https://huggingface.co/sentence-transformers/LaBSE).
3. Convert all Traditional Chinese sentences into Simplified Chinese with [zhconv](https://github.com/gumblex/zhconv).
------
经过过滤和修改的日语/中文语言对数据，来自[CCMatrix v1](https://opus.nlpl.eu/CCMatrix.php)。

处理步骤：
1. 基本的基于正则表达式的过滤/长度检查，以删除异常对。
2. 基于[sentence-transformers/LaBSE](https://huggingface.co/sentence-transformers/LaBSE)的语义相似性过滤，阈值为0.6。
3. 使用[zhconv](https://github.com/gumblex/zhconv)将所有繁体中文句子转换为简体中文。
------
以下はフィルタリングされ修正された日本語/中国語のペアデータです。データ元は[CCMatrix v1](https://opus.nlpl.eu/CCMatrix.php)です。

処理手順：
1. 正規表現に基づくフィルタリング/長さのチェックを行い、異常なペアを削除します。
2. [sentence-transformers/LaBSE](https://huggingface.co/sentence-transformers/LaBSE)に基づくセマンティック類似性フィルタリングを行い、閾値は0.6です。
3. [zhconv](https://github.com/gumblex/zhconv)を使って、すべての繁体字中国語の文を簡体字中国語に変換します。