|
|
|
--- |
|
|
|
language: |
|
- ja |
|
pipeline_tag: text-generation |
|
tags: |
|
- OpenAccess AI Collective |
|
- MPT |
|
- axolotl |
|
- PyTorch |
|
- Transformers |
|
license: apache-2.0 |
|
|
|
--- |
|
|
|
[](https://hf.co/QuantFactory) |
|
|
|
|
|
# QuantFactory/TinySlime-1.1B-Chat-v1.0-GGUF |
|
This is quantized version of [2121-8/TinySlime-1.1B-Chat-v1.0](https://huggingface.co/2121-8/TinySlime-1.1B-Chat-v1.0) created using llama.cpp |
|
|
|
# Original Model Card |
|
|
|
|
|
# TinySlime-1.1B-Chat-v1.0 |
|
|
|
TinySlime は日本語に特化した小規模言語モデルです。 |
|
|
|
モデルの一覧 |
|
|
|
- [TinySlime-1.1B-v1.0](https://huggingface.co/2121-8/TinySlime-1.1B-v1.0) |
|
- [TinySlime-1.1B-Chat-v1.0](https://huggingface.co/2121-8/TinySlime-1.1B-Chat-v1.0) |
|
|
|
</br> |
|
|
|
このモデルのフルチューニングは、[Axolotl](https://github.com/OpenAccess-AI-Collective/axolotl) を使用して行われました。 |
|
|
|
[<img src="https://raw.githubusercontent.com/OpenAccess-AI-Collective/axolotl/main/image/axolotl-badge-web.png" alt="Built with Axolotl" width="200" height="32"/>](https://github.com/OpenAccess-AI-Collective/axolotl) |
|
|
|
## モデル概要 |
|
|
|
TinySlime-1.1B-Chat-v1.0 は、TinySlime-1.1B-Chat-v1.0 をベースに、Mixtral-8x7B-Instruct-v0.1 が作成した合成データを使用して微調整されたチャットモデルです。</br> |
|
このモデルは、スマートフォンや NVIDIA Jetson などの組み込み環境で動かすことを想定して作成されました。 |
|
|
|
## ベンチマーク(JP Language Model Evaluation Harness) |
|
| model name | JCommonsenseQA (3-shot) | JNLI (3-shot) | MARC-ja (0-shot) | JSQuAD (2-shot) | jaqket-v2 (1-shot) | xlsum (1-shot) | xwinograd (0-shot) | mgsm (5-shot) | AVERAGE | |
|
|-------------------------------------------------|-------------------------|---------------|------------------|-----------------|--------------------|----------------|---------------------|---------------|---------| |
|
| lkarasu-1.1B | 24.84 | 34.78 | 50.48 | 51.33 | 18.95 | **9.21** | 62.15 | 2.80 | 31.82 | |
|
| **TinySlime-Chat** | **66.49** | **64.36** | **92.68** | **84.60** | 42.14 | 7.79 | 60.69** | **9.20** | **53.50** | |
|
| japanese-large-lm-3.6b-instruction-sft | 38.87 | 34.68 | 50.52 | 58.57 | 56.54 | 6.25 | 64.23 | 1.60 | 38.91 | |
|
| open-calm-3b | 31.64 | 36.56 | 50.99 | 51.47 | 50.99 | 4.63 | 63.30 | 2.00 | 35.97 | |
|
| bilingual-gpt-neox-4b-instruction-ppo | 50.49 | 38.90 | 88.65 | 72.82 | **65.65** | 4.69 | 64.75 | 3.80 | 48.72 | |
|
| japanese-gpt-neox-3.6b-instruction-ppo | 44.59 | 35.25 | 64.34 | 58.53 | 26.67 | 3.79 | **68.72** | 3.20 | 33.26 | |
|
|
|
## 使用方法 |
|
|
|
### インストール |
|
|
|
このモデルを使用するには、Hugging Face の`transformers`ライブラリをインストールする必要があります |
|
|
|
```bash |
|
pip install -U transformers |
|
``` |
|
|
|
### モデルの読み込み |
|
|
|
`transformers`ライブラリを使用してモデルを読み込むことができます |
|
|
|
```python |
|
from transformers import AutoModelForCausalLM, AutoTokenizer |
|
|
|
model_name = "2121-8/TinySlime-1.1B-Chat-v1.0" |
|
tokenizer = AutoTokenizer.from_pretrained(model_name) |
|
model = AutoModel.from_pretrained(model_name) |
|
``` |
|
|
|
### テキスト生成 |
|
|
|
以下の例では、読み込んだモデルを使用してテキストを生成する方法を示します |
|
|
|
```python |
|
text = "こんにちは" |
|
|
|
messages = [ |
|
{ |
|
"role": "system", |
|
"content": "You are an assistant called ChatBot. You are a friendly and very good chatbot.", |
|
}, |
|
{"role": "user", "content": text}, |
|
] |
|
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) |
|
input_ids = tokenizer(prompt, return_tensors="pt") |
|
|
|
# テキストを生成 |
|
outputs = model.generate(input_ids, max_length=50, num_return_sequences=1) |
|
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True) |
|
|
|
print(generated_text) |
|
``` |
|
|
|
## 謝辞 |
|
|
|
このモデルは、TinyLlama プロジェクトの成果に基づいて構築されました。NLP コミュニティへの貢献に感謝します。 |
|
また、このモデルの開発にあたり、[Axolotl](https://github.com/OpenAccess-AI-Collective/axolotl) のサポートとツールを利用しました。 |
|
NLP コミュニティへの貢献に感謝します。 |
|
|
