
# Vikhr: модель на базе Mistral для русского языка

Введение в Vikhr: представляем Vikhr, основанную на архитектуре Mistral и предварительно обученную на 400 миллионах токенов в течение трех эпох. 

Она должна быть лучше чем оригинальный мистраль на русских задачах, а вот с кодом скорее всего будут проблемы. 

## Бенчи



|   Датасет    | Vikhr-7b-0.1 | Mistral-7B-v0.1 |
|--------------|--------------|-----------------|
| mmlu_ru      | 0.60         | 0.66           |
| xwinograd    | 0.72        | 0.68          |
| xnli         | 0.3812       | 0.3691          |





{"language": ["ru", "en"], "license": "apache-2.0", "library_name": "transformers", "datasets": ["IlyaGusev/habr"]}
transformers pytorch safetensors llama text-generation ru en dataset:IlyaGusev/habr license:apache-2.0 autotrain_compatible endpoints_compatible has_space text-generation-inference region:us