Update README.md
Browse files
README.md
CHANGED
|
@@ -18,8 +18,6 @@ tags:
|
|
| 18 |
|
| 19 |
Эта модель является квантизированной версией [RuadaptQwen2.5-32B-instruct](https://huggingface.co/msu-rcc-lair/RuadaptQwen2.5-32B-instruct), выполненной с использованием метода **Activation-aware Weight Quantization (AWQ)** и с помощью ядра **GEMM**.
|
| 20 |
|
| 21 |
-
**AWQ (Activation-aware Weight Quantization)** — это метод квантизации весов моделей глубокого обучения, который сохраняет важные веса, основываясь на анализе активаций. Благодаря этому подходу достигается высокая точность даже при снижении разрядности до 4 бит.
|
| 22 |
-
|
| 23 |
## Конфигурация квантизации
|
| 24 |
|
| 25 |
```json
|
|
|
|
| 18 |
|
| 19 |
Эта модель является квантизированной версией [RuadaptQwen2.5-32B-instruct](https://huggingface.co/msu-rcc-lair/RuadaptQwen2.5-32B-instruct), выполненной с использованием метода **Activation-aware Weight Quantization (AWQ)** и с помощью ядра **GEMM**.
|
| 20 |
|
|
|
|
|
|
|
| 21 |
## Конфигурация квантизации
|
| 22 |
|
| 23 |
```json
|