

# BERTIN-GPT-J-6B Alpaca

This is a [BERTIN GPT-J-6B](https://huggingface.co/bertin-project/bertin-gpt-j-6B) Spanish model fine-tuned on the [Spanish Alpaca](https://huggingface.co/datasets/bertin-project/alpaca-spanish) dataset.

## Usage

```python
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig, pipeline

base_model = "bertin-project/bertin-gpt-j-6B-alpaca"
tokenizer = AutoTokenizer.from_pretrained(base_model)
model = AutoModelForCausalLM.from_pretrained(base_model).cuda()
```

For generation, we can either use `pipeline()` or the model's `.generate()` method. Remember that the prompt needs a **Spanish** template:

```python
# Generate responses
def generate(instruction, input=None):
    if input:
        prompt = f"""A continuación hay una instrucción que describe una tarea, junto con una entrada que proporciona más contexto. Escribe una respuesta que complete adecuadamente lo que se pide.

### Instrucción:
{instruction}

### Entrada:
{input}

### Respuesta:"""
    else:
        prompt = f""""A continuación hay una instrucción que describe una tarea. Escribe una respuesta que complete adecuadamente lo que se pide.

### Instrucción:
{instruction}

### Respuesta:
"""
    inputs = tokenizer(prompt, return_tensors="pt")
    input_ids = inputs["input_ids"].cuda()
    generation_output = model.generate(
        input_ids=input_ids,
        generation_config=GenerationConfig(temperature=0.2, top_p=0.75, num_beams=4),
        return_dict_in_generate=True,
        output_scores=True,
        max_new_tokens=256
    )
    for seq in generation_output.sequences:
        output = tokenizer.decode(seq, skip_special_tokens=True)
        print(output.split("### Respuesta:")[-1].strip())

generate("Escribe un correo electrónico dando la bienvenida a un nuevo empleado llamado Manolo.")
# Estimado Manolo,
#
# ¡Bienvenido a tu nuevo trabajo como Representante de Servicio al Cliente en nuestra empresa! Estamos emocionados de tenerte a bordo y esperamos que tengas un gran año trabajando con nosotros.
#
# En nombre de todos en esta empresa, queremos darte la bienvenida al equipo y desearte lo mejor en tus nuevas funciones.
#
# ¡Estamos ansiosos por escuchar tus historias y ayudarte a tener éxito en tu nuevo rol!
#
# Sinceramente,
# El equipo de Servicio al Cliente

```


## Data

The dataset is a translation to Spanish of [alpaca_data_cleaned.json](https://github.com/tloen/alpaca-lora/blob/main/alpaca_data_cleaned.json) (a clean version of the [Alpaca dataset made at Stanford](https://huggingface.co/datasets/tatsu-lab/alpaca)) using OpenAI's `gpt-3.5-turbo` model. We translated using a full-sample prompt instead of per strings, which resulted in more coherent tuples of `(instruction, input, output)` and costed around $60.0.

**This dataset cannot be used to create models that compete in any way with OpenAI.**

## Finetuning

To fine-tune the BERTIN GPT-J-6B model we used the code available on [BERTIN's fork of `mesh-transformer-jax`](https://github.com/bertin-project/mesh-transformer-jax/blob/master/prepare_dataset_alpaca.py), which provides code adapt an Alpaca dataset to finetune any GPT-J-6B model. We run finetuning for 3 epochs using sequence length of 2048 on a single TPUv3-8 for 3 hours on top of BERTIN GPT-J-6B.

## Example outputs

Stanford Alpaca:
```
Instruction: Inventa una excusa creativa para decir que no tengo que ir a la fiesta.
Response: I'm sorry, I can't make it to the party. I have to stay home and take care of my sick pet.
```

BERTIN Alpaca LoRA:
```
Instruction: Inventa una excusa creativa para decir que no tengo que ir a la fiesta.
Response: No puedo ir a la fiesta porque tengo que terminar un proyecto urgente.
```

BERTIN GPT-J-6B Alpaca:
```
Instruction: Inventa una excusa creativa para decir que no tengo que ir a la fiesta.
Response: Lo siento, pero tengo una cita inesperada a la que necesito asistir.
```


Stanford Alpaca:
```
Instruction: ¿Cómo puedo comenzar una carrera como científico de datos? Responde con una lista de pasos a seguir.
Response: To begin a career as a data scientist, there are a few steps to take. First, you should have a bachelor's degree in a STEM-related field, such as computer science, mathematics, statistics, or engineering. You should also have experience with programming languages such as Python, R, or Java. Additionally, it is helpful to have knowledge of machine learning, data visualization, and data analytics. Finally, it is important to stay up to date with the latest trends and technologies in the field.
```

BERTIN Alpaca LoRA:
```
Instruction: ¿Cómo puedo comenzar una carrera como científico de datos? Responde con una lista de pasos a seguir.
Response: Para comenzar una carrera como científico de datos, hay varios pasos a seguir. Primero, obtener una licenciatura en matemáticas, informática o ciencias de la computación. Luego, obtener una maestría o doctorado en ciencias de la computación, informática o alguna otra área relacionada. Finalmente, obtener experiencia en el campo trabajando en proyectos de investigación o desarrollando aplicaciones.
```

BERTIN GPT-J-6B Alpaca:
```
Instruction: ¿Cómo puedo comenzar una carrera como científico de datos? Responde con una lista de pasos a seguir.
Response: Comenzar una carrera como científico de datos requiere una sólida formación en matemáticas, estadística e informática. También es importante tener experiencia en análisis de datos, aprendizaje automático y visualización de datos. Para prepararse para una carrera como científico de datos, considere tomar cursos en estadística, aprendizaje automático, visualización de datos y otros temas relevantes. Además, asegúrese de obtener experiencia práctica trabajando en proyectos de análisis de datos o tomando roles de aprendiz de científico de datos.
```

You can test it using the eval notebook [here](https://colab.research.google.com/github/22-hours/cabrita/blob/main/notebooks/cabrita-lora.ipynb).

## References

- [LLaMA](https://ai.facebook.com/blog/large-language-model-llama-meta-ai/)
- [Stanford Alpaca](https://github.com/tatsu-lab/stanford_alpaca)
- [BERTIN Alpaca](https://huggingface.co/datasets/bertin-project/alpaca-spanish)
- [ChatGPT](https://openai.com/blog/chatgpt)
- [Hugging Face](https://huggingface.co/)
 
## Hardware Requirements

For training we have used a Google Cloud TPUv3-8 VM. For eval, you can use a T4.
# [Open LLM Leaderboard Evaluation Results](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)
Detailed results can be found [here](https://huggingface.co/datasets/open-llm-leaderboard/details_bertin-project__bertin-gpt-j-6B-alpaca)

| Metric                | Value                     |
|-----------------------|---------------------------|
| Avg.                  | 32.11   |
| ARC (25-shot)         | 36.01          |
| HellaSwag (10-shot)   | 54.3    |
| MMLU (5-shot)         | 27.66         |
| TruthfulQA (0-shot)   | 43.38   |
| Winogrande (5-shot)   | 55.8   |
| GSM8K (5-shot)        | 0.0        |
| DROP (3-shot)         | 7.59         |

{"language": ["es"], "license": "openrail", "library_name": "transformers", "tags": ["alpaca", "ggml"], "datasets": ["bertin-project/alpaca-spanish"], "pipeline_tag": "text-generation", "widget": [{"text": "A continuaci\u00f3n hay una instrucci\u00f3n que describe una tarea. Escribe una respuesta que complete adecuadamente lo que se pide.\n### Instrucci\u00f3n: Escribe un correo electr\u00f3nico dando la bienvenida a un nuevo empleado llamado Manolo.\n### Respuesta:", "example_title": "E-mail"}, {"text": "A continuaci\u00f3n hay una instrucci\u00f3n que describe una tarea. Escribe una respuesta que complete adecuadamente lo que se pide.\n### Instrucci\u00f3n: Cu\u00e9ntame algo sobre las alpacas.\n### Respuesta:", "example_title": "Alpacas"}, {"text": "A continuaci\u00f3n hay una instrucci\u00f3n que describe una tarea. Escribe una respuesta que complete adecuadamente lo que se pide.\n### Instrucci\u00f3n: Inventa una excusa creativa para decir que no tengo que ir a la fiesta.\n### Respuesta:", "example_title": "Excusa"}]}
transformers pytorch gptj text-generation alpaca ggml es dataset:bertin-project/alpaca-spanish license:openrail autotrain_compatible endpoints_compatible has_space region:us
TAGS
#transformers #pytorch #gptj #text-generation #alpaca #ggml #es #dataset-bertin-project/alpaca-spanish #license-openrail #autotrain_compatible #endpoints_compatible #has_space #region-us 

BERTIN-GPT-J-6B Alpaca
======================


This is a BERTIN GPT-J-6B Spanish model fine-tuned on the Spanish Alpaca dataset.


Usage
-----


For generation, we can either use 'pipeline()' or the model's '.generate()' method. Remember that the prompt needs a Spanish template:


Data
----


The dataset is a translation to Spanish of alpaca\_data\_cleaned.json (a clean version of the Alpaca dataset made at Stanford) using OpenAI's 'gpt-3.5-turbo' model. We translated using a full-sample prompt instead of per strings, which resulted in more coherent tuples of '(instruction, input, output)' and costed around $60.0.


This dataset cannot be used to create models that compete in any way with OpenAI.


Finetuning
----------


To fine-tune the BERTIN GPT-J-6B model we used the code available on BERTIN's fork of 'mesh-transformer-jax', which provides code adapt an Alpaca dataset to finetune any GPT-J-6B model. We run finetuning for 3 epochs using sequence length of 2048 on a single TPUv3-8 for 3 hours on top of BERTIN GPT-J-6B.


Example outputs
---------------


Stanford Alpaca:


BERTIN Alpaca LoRA:


BERTIN GPT-J-6B Alpaca:


Stanford Alpaca:


BERTIN Alpaca LoRA:


BERTIN GPT-J-6B Alpaca:


You can test it using the eval notebook here.


References
----------


* LLaMA
* Stanford Alpaca
* BERTIN Alpaca
* ChatGPT
* Hugging Face


Hardware Requirements
---------------------


For training we have used a Google Cloud TPUv3-8 VM. For eval, you can use a T4.


Open LLM Leaderboard Evaluation Results
=======================================


Detailed results can be found here




TAGS
#transformers #pytorch #gptj #text-generation #alpaca #ggml #es #dataset-bertin-project/alpaca-spanish #license-openrail #autotrain_compatible #endpoints_compatible #has_space #region-us 

TAGS
#transformers #pytorch #gptj #text-generation #alpaca #ggml #es #dataset-bertin-project/alpaca-spanish #license-openrail #autotrain_compatible #endpoints_compatible #has_space #region-us 
