---
license: cc-by-sa-4.0
language:
- ja
tags:
- japanese input
- kana kanji conversion
datasets:
- Miwa-Keita/zenz-v2.5-dataset
pipeline_tag: text2text-generation
---

# zenz-v2.5-small

<div align="center">
<img src="https://cdn-uploads.huggingface.co/production/uploads/663b87e5a14bfb0a2d4914df/gWnbTavSqhhWYJrP6SdQ1.png" alt="zenz-v2 model spec" width="400"/>
</div>

<!-- Provide a quick summary of what the model is/does. -->

zenz-v2.5はかな漢字変換タスクに特化したGPT-2アーキテクチャの条件付き言語モデルです。ニューラルかな漢字変換システム「Zenzai」で利用することを想定しています。

* 文字単位+バイト単位BPEトークナイザー
* かな漢字変換タスクにおいて高い性能
* 文脈を考慮した変換で高い性能を発揮

zenz-v2.5は3種類のモデルサイズで公開しています。

* **[zenz-v2.5-medium](https://huggingface.co/Miwa-Keita/zenz-v2.5-medium)**: 310Mの大規模モデル
* **[zenz-v2.5-small](https://huggingface.co/Miwa-Keita/zenz-v2.5-small)**: 91Mの中規模モデル
* **[zenz-v2.5-xsmall](https://huggingface.co/Miwa-Keita/zenz-v2.5-xsmall)**: 26Mの小規模モデル

## Model Details

### Model Description

<!-- Provide a longer summary of what this model is. -->

[CC-BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)で提供されている[ku-nlp/gpt2-small-japanese-char](https://huggingface.co/ku-nlp/gpt2-small-japanese-char)のトークナイザを利用しています。

本モデルは[CC-BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)で提供します。


- **Developed by:** Keita Miwa ([𝕏](https://twitter.com/miwa_ensan))
- **Model type:** GPT-2
- **Language(s) (NLP):** Japanese
- **License:** CC-BY-SA 4.0

### Model Sources

<!-- Provide the basic links for the model. -->

本モデルはZenzai（AzooKeyKanaKanjiConverter）と共に利用することを想定して構築しています。

- **Repository:** https://github.com/ensan-hcl/AzooKeyKanaKanjiConverter

### Data Sources

本モデルは[zenz-v2.5-dataset](https://huggingface.co/datasets/Miwa-Keita/zenz-v2.5-dataset)を利用して構築しました。

## Acknowledgements

本モデルの構築にあたり、さくらインターネット株式会社様より計算資源の支援をいただきました。感謝申し上げます。

また、以下のライブラリやツール、言語資源を活用して本モデルを構築しました。

* MeCab (https://taku910.github.io/mecab/)
* ipadic-NEologd (https://github.com/neologd/mecab-ipadic-neologd)
* torch (https://pypi.org/project/torch/)
* transformers (https://pypi.org/project/transformers/)
* datasets (https://pypi.org/project/datasets/)
* jaconv (https://pypi.org/project/jaconv/)
* llama.cpp (https://github.com/ggerganov/llama.cpp)
* llm.c (https://github.com/karpathy/llm.c)