---
license: cc-by-4.0
language:
- ja
- jv
---
# ContentVecをJVSでファインチューニングしたモデル
## 概要
このモデルは、[こちら](https://github.com/auspicious3000/contentvec)のContentVecモデルをベースに、JVSデータセットを用いてファインチューニングを行ったものです。<br>
学習コードは[こちら](https://github.com/yxlllc/contentvec)を使用しました。<br>

## 直近の学習ログは以下の通りです。
```
    [2024-10-25 21:21:56,105][valid][INFO] - epoch 027 | valid on 'valid' subset | loss 12.907 | count_m_0 1440.82 | count_u_0 1260.37 | loss_m_0 12.875 | loss_u_0 11.519 | loss_mlm 12.875 | loss_features_pen 0.011 | ctr_loss 0.024 | ctr_weighted_loss 0.023 | correct_m_0 0.00296573 | correct_u_0 0.00264994 | ppl 7680.84 | wps 5041 | wpb 1440.8 | bsz 3.7 | num_updates 97000 | best_loss 9.637
    [2024-10-25 21:21:56,106][fairseq.checkpoint_utils][INFO] - Preparing to save checkpoint for epoch 27 @ 97000 updates
    [2024-10-25 21:21:56,109][fairseq.trainer][INFO] - Saving checkpoint to /content/contentvec/tmp/checkpoints/checkpoint_27_97000.pt
    [2024-10-25 21:21:59,508][fairseq.trainer][INFO] - Finished saving checkpoint to /content/contentvec/tmp/checkpoints/checkpoint_27_97000.pt
    [2024-10-25 21:22:03,077][fairseq.checkpoint_utils][INFO] - Saved checkpoint checkpoints/checkpoint_27_97000.pt (epoch 27 @ 97000 updates, score 12.907) (writing took 6.970946933986852 seconds)
    epoch 027:  61% 2255/3683 [23:53<13:23,  1.78it/s, loss=2.65, count_m_0=1440.3, count_u_0=1266.4, loss_m_0=2.584, loss_u_0=1.856, loss_mlm=2.584, loss_features_pen=0.011, ctr_loss=0.063, ctr_weighted_loss=0.062, correct_m_0=0.488006, correct_u_0=0.59136, ppl=6.28, wps=2588.6, ups=1.8, wpb=1440.3, bsz=3.6, num_updates=97900, lr=0.000297301, gnorm=2.706, clip=0, loss_scale=0.0312, train_wall=47, gb_free=12.2, wall=0][2024-10-25 21:31:19,576][fairseq_cli.train][INFO] - begin validation on "valid" subset
```
## 所感
日本語の発話がより自然になったように感じられます。<br>
また、特定の言葉が正しく発話できなかった問題も改善が見られました。<br>
しかし、改善はしているものの、一部の言葉で音像がぼやける現象が残っており、まだ学習が不足している印象です。<br>
引き続き学習を継続し、さらなる改善を目指す予定です。