Update README.md

README.md

@@ -25,20 +25,19 @@ pipeline_tag: token-classification
 
 | 模型 | 版本 | 说明 |
 | :--: | :--: | :--:|
-| [keyword_gacha_base_multilingual](https://huggingface.co/neavo/keyword_gacha_base_multilingual) | 20240826 | 基础模型 |
-| [keyword_gacha_ner_multilingual](https://huggingface.co/neavo/keyword_gacha_ner_multilingual)  | 20240826 | 预训练实体识别模型 |
+| [keyword_gacha_base_multilingual](https://huggingface.co/neavo/keyword_gacha_base_multilingual) | 20240912 | 基础模型 |
+| [keyword_gacha_ner_multilingual](https://huggingface.co/neavo/keyword_gacha_ner_multilingual)  | 20240912 | 预训练实体识别模型 |
 
 ### 基础模型 Base
 
 - 当前的基础模型是在 [FacebookAI/xlm-roberta-base](https://huggingface.co/FacebookAI/xlm-roberta-base) 进行继续预训练得到的
-- 针对每种语言使用了大约 100M Token 语料进行了 2 个 epoch 继续预训练
-- 总训练语料约 400M Tokens，总训练量约为 800M Tokens
+- 使用了总计约 500M Token 的语料（日语 200M、其他语言 100M）训练了2个 EPOCH
 - 训练语料中包含 `Web 小说`、`文库本小说`、`AVG 游戏脚本`、`RPG 游戏脚本` 等不同种类的文本
 - 训练参数如下：
-  - Batch Size : 12
-  - Gradient Accumulation Steps : 10
-  - Total Batch Size : 120
-  - Learing Rate : 2e-5
+  - Batch Size : 8
+  - Gradient Accumulation Steps : 16
+  - Total Batch Size : 128
+  - Learing Rate : 1e-5
   - Maximum Sequence Length : 256
   - Optimizer : AdamW_8bit
   - Warnup Ratio : 0.1
@@ -52,14 +51,14 @@ pipeline_tag: token-classification
 - 与 [KeywordGacha](https://github.com/neavo/KeywordGacha) 搭配使用时，与人工校对的实体词语表进行对比，可以达到 `90%-95%` 的实际准确率（并非 F1 Score 这种理论上的指标）
 - 训练参数如下：
   - Batch Size : 32
-  - Gradient Accumulation Steps : 2
-  - Total Batch Size : 64
+  - Gradient Accumulation Steps : 1
+  - Total Batch Size : 32
   - Learing Rate : 2e-5
   - Maximum Sequence Length : 256
-  - Optimizer : AdamW_8bit
+  - Optimizer : AdamW
   - Warnup Ratio : 0.1
   - Train Precision : BF16
-  - Max Train Epochs : 24
+  - Max Train Epochs : 20
 - 使用说明
   - 待补充