

# Vietnamese Mistral 7b
## Tokenizer
### Train
### Use
```python
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("anhdungitvn/vi-mistral-7b-v0.1")

text = "Hà Nội là thủ đô, thành phố trực thuộc trung ương và là một trong hai đô thị loại đặc biệt của nước Cộng hòa xã hội chủ nghĩa Việt Nam."
batch_encoding = tokenizer(text)
```
```
batch_encoding = {
    'input_ids': [1, 702, 824, 141, 627, 1399, 103374, 330, 816, 814, 921, 695, 2244, 139, 141, 180, 181, 615, 1399, 524, 491, 737, 634, 155, 366, 2469, 1228, 780, 541, 534, 1013, 438, 426, 103375],
    'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
}
```


{"language": ["vi", "en"], "tags": ["vi", "vietnamese", "llm", "mistral"], "datasets": ["uonlp/CulturaX"], "metrics": ["accuracy", "perplexity"], "pipeline_tag": "text-generation"}
vi vietnamese llm mistral text-generation en dataset:uonlp/CulturaX region:us