# Cabra Mistral 7b 0.2
<img src="https://media.discordapp.net/attachments/1060891441724932096/1207893171602722886/blackpantera_a_goat_in_a_tropical_beach_wearing_brazilian_footb_11fde9fd-54a0-4172-b059-24bc2523e6b2.png?ex=65e14d2d&is=65ced82d&hm=6a3e9f7ddffc200ec868824bd0ea531137b3b211f873d3ba9b3118ab2fe0fb84&=&format=webp&quality=lossless&width=1228&height=1228" width="400" height="400">

Esse modelo é um finetune do [Mistral 7b](https://huggingface.co/mistralai/Mistral-7B-v0.1) com o dataset [alpaca-data-pt-br](https://huggingface.co/datasets/dominguesm/alpaca-data-pt-br). Esse modelo é optimizado para português. 

**Exprimente o nosso demo aqui: [CabraChat](https://huggingface.co/spaces/nicolasdec/CabraChat).**

**Conheça os outros modelos finetuned para português: [Cabra](https://huggingface.co/collections/nicolasdec/cabra-65d12286c4d2b2e4029c0c63).**

## Detalhes do Modelo

### Modelo: Mistral 7b

Mistral-7B-v0.1 é um modelo de transformador, com as seguintes escolhas arquitetônicas:

- Grouped-Query Attention
- Sliding-Window Attention
- Byte-fallback BPE tokenizer

### dataset: dominguesm/alpaca-data-pt-br

Tradução utilizando ML para portuguese do dataset [Alpaca cleaned](https://huggingface.co/datasets/yahma/alpaca-cleaned). Obrigado [Dominguesm](https://huggingface.co/datasets/dominguesm/alpaca-data-pt-br) pelo incrivel dataset.  

### Paramentros de trainamento 

```
trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    train_dataset = dataset,
    dataset_text_field = "text",
    max_seq_length = max_seq_length,
    dataset_num_proc = 2,
    packing = False, # Can make training 5x faster for short sequences.
    args = TrainingArguments(
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        warmup_steps = 5,
        # max_steps = 10000,
        num_train_epochs=1,
        learning_rate = 2e-4,
        fp16 = not torch.cuda.is_bf16_supported(),
        bf16 = torch.cuda.is_bf16_supported(),
        logging_steps = 1,
        optim = "adamw_8bit",
        weight_decay = 0.01,
        lr_scheduler_type = "linear",
        seed = 3407,
        output_dir = "outputs",
    ),
)
```

## Uso
O modelo é destinado, por agora, a fins de pesquisa. As áreas e tarefas de pesquisa possíveis incluem:

- Pesquisa sobre modelos gerativos.
- Investigação e compreensão das limitações e viéses de modelos gerativos.

**Proibido para uso comercial. Somente Pesquisa.**




{"language": ["pt", "en"], "license": "cc", "library_name": "adapter-transformers", "tags": ["text-generation-inference", "transformers", "unsloth", "mistral", "gguf", "brazil", "brasil", "portuguese"], "datasets": ["dominguesm/alpaca-data-pt-br"], "base_model": "unsloth/mistral-7b-bnb-4bit", "pipeline_tag": "text-generation"}
adapter-transformers gguf mistral text-generation-inference transformers unsloth brazil brasil portuguese text-generation pt en dataset:dominguesm/alpaca-data-pt-br base_model:unsloth/mistral-7b-bnb-4bit license:cc has_space region:us