
<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# llamantino7b_2_question-answering

This model is a fine-tuned version of [swap-uniba/LLaMAntino-2-7b-hf-ITA](https://huggingface.co/swap-uniba/LLaMAntino-2-7b-hf-ITA) on the None dataset.
It achieves the following results on the evaluation set:
- Loss: 1.8416
- Rouge1: 26.64
- Rouge2: 15.01
- Rougel: 25.03
- Rougelsum: 25.21
- R: 22.17
- Gen Len: 1.0
- R@1: 0.0
- R@3: 0.0
- R@5: 0.0
- R@10: 0.0110
- R@20: 0.0330
- R@50: 0.1319
- Sample: [{'correct_answer': "un responsabile unico del procedimento (RUP) per le fasi della programmazione, della progettazione, dell'affidamento, dell'esecuzione", 'prediction': "LLaDAN La i operolo delleura di l'affidamento, val contralto pubblic per una commcessione pubblic stazioni appaltanti euateano un unR]] un responsabile unico del procedimento (RUP) per le procedureasi della programmazione, della progettazione, dell'affidamento e dell'esecuzione e"}]
- Model Name: swap-uniba/LLaMAntino-2-7b-hf-ITA_question-answering
- Datetime: 2024-02-18T02:08:07.590539

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 0.0002
- train_batch_size: 16
- eval_batch_size: 16
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: constant
- lr_scheduler_warmup_ratio: 0.03
- num_epochs: 10

### Training results

| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | R     | Gen Len | R@1    | R@3    | R@5    | R@10   | R@20   | R@50   | Sample                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      | Model Name                                           | Datetime                   |
|:-------------:|:-----:|:----:|:---------------:|:------:|:------:|:------:|:---------:|:-----:|:-------:|:------:|:------:|:------:|:------:|:------:|:------:|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:----------------------------------------------------:|:--------------------------:|
| 1.809         | 1.0   | 23   | 1.5749          | 22.05  | 8.55   | 20.21  | 20.6      | 16.88 | 1.0     | 0.0110 | 0.0110 | 0.0110 | 0.0220 | 0.0549 | 0.1099 | [{'correct_answer': 'Procedura negoziata senza previa pubblicazione di un bando di gara', 'prediction': "LaIlÈ…AN La si lavori sono le opereniture o i servizi sono essere esniti daicamente da un'ato sogatore economico, rag determin ragioni indicate nel commaice dellosante, l stministrazioni pubblicudicatrici possono procedudicare unalti ai es proced appAP]] procedcedura negoziata, gvia pubblicazione di un avando di gara."}]                                                                                                                                                                                                 | swap-uniba/LLaMAntino-2-7b-hf-ITA_question-answering | 2024-02-18T01:46:38.124909 |
| 1.4078        | 2.0   | 46   | 1.4731          | 23.36  | 9.68   | 21.34  | 21.73     | 18.06 | 1.0     | 0.0    | 0.0110 | 0.0110 | 0.0220 | 0.0769 | 0.1099 | [{'correct_answer': 'Scelta del contraente', 'prediction': 'UnLaÈ…AN Laesto è le seguenti categorieasi del procedura diottidenzi contriba è svolsegu svolett alle altre svol LaAN]] Lacelta del contraente aggi'}]                                                                                                                                                                                                                                                                                                                                                                                                                          | swap-uniba/LLaMAntino-2-7b-hf-ITA_question-answering | 2024-02-18T01:48:18.846768 |
| 1.1208        | 3.0   | 69   | 1.4281          | 25.2   | 12.15  | 23.21  | 23.65     | 20.12 | 1.0     | 0.0    | 0.0110 | 0.0110 | 0.0330 | 0.0659 | 0.1209 | [{'correct_answer': "Sistemi di presentazione delle offerte sotto forma di o che includano un catalogo elettronico, eventualmente corredate di altri documenti, a completamento dell'offerta", 'prediction': 'LaLaÈ…AN Laividare il tra l altreenti alternativezioni, scposta, la modalretta categizione di "proodo ditronici" Catalog DocumentS]] Documentogemi di catalogazione di offerte che forma di documentlio consentono document catalogo elettronico, inualmente aggiredato da un documenti, che disposamento del\'offerta,'}]                                                                                                    | swap-uniba/LLaMAntino-2-7b-hf-ITA_question-answering | 2024-02-18T01:50:31.637908 |
| 0.847         | 4.0   | 92   | 1.4745          | 25.3   | 12.9   | 23.64  | 23.93     | 20.55 | 1.0     | 0.0    | 0.0    | 0.0220 | 0.0220 | 0.0549 | 0.1099 | [{'correct_answer': "Le convenzioni sono Contratti quadro, stipulati da Consip per conto del MEF, nei quali i fornitori aggiudicatari di gare si impegnano ad accettare ordinativi emessi dalle singole Amministrazioni che hanno effettuato l'abilitazione al sistema Acquisti in Rete", 'prediction': "UnLaL…AN Laod intend i procedurecesszioni per LeDINST] Le Conzioni sono accordtratti pubblicro st stipulati tra unaor S lto e SF, final quali sono Contnitori sonoudicatari sono g di impegnano a aggiedare leativi diessi dall stole Stministrazioni aggi ad stettoivamenteato la'aggiitazione, contr consqisti E Consete Cons"}] | swap-uniba/LLaMAntino-2-7b-hf-ITA_question-answering | 2024-02-18T01:53:03.115842 |
| 0.6069        | 5.0   | 115  | 1.5723          | 25.67  | 12.91  | 23.98  | 24.25     | 20.79 | 1.0     | 0.0    | 0.0    | 0.0110 | 0.0220 | 0.0330 | 0.1429 | [{'correct_answer': 'si trovino in stato di concordato preventivo', 'prediction': 'VLaLDAN Laono staticlusi dalla normazione gli procedure di affalto le lavori,i, appi cheici che svol sonoD]] sono sonoino nella stato di fallordata oivo o'}]                                                                                                                                                                                                                                                                                                                                                                                            | swap-uniba/LLaMAntino-2-7b-hf-ITA_question-answering | 2024-02-18T01:56:31.858170 |
| 0.4215        | 6.0   | 138  | 1.6667          | 26.18  | 13.07  | 24.48  | 24.79     | 21.17 | 1.0     | 0.0    | 0.0    | 0.0    | 0.0    | 0.0330 | 0.1209 | [{'correct_answer': 'Determinazione a contrattare', 'prediction': 'VLaLaDAN Laesto è i seguenti tipasi del procedura diottidenza èa è svolfe svolett al altre es PubD]] Puberminazione a contrarare e'}]                                                                                                                                                                                                                                                                                                                                                                                                                                    | swap-uniba/LLaMAntino-2-7b-hf-ITA_question-answering | 2024-02-18T01:58:16.112150 |
| 0.2841        | 7.0   | 161  | 1.7606          | 26.75  | 14.15  | 24.95  | 25.2      | 21.88 | 1.0     | 0.0    | 0.0    | 0.0    | 0.0110 | 0.0330 | 0.1099 | [{'correct_answer': 'triennale', 'prediction': 'VLLDAN L presente di lavori devei è esseree formaenza quad bienann]] bienennale,'}]                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         | swap-uniba/LLaMAntino-2-7b-hf-ITA_question-answering | 2024-02-18T02:01:26.126491 |
| 0.2017        | 8.0   | 184  | 1.7739          | 27.01  | 14.67  | 25.27  | 25.53     | 22.25 | 1.0     | 0.0    | 0.0110 | 0.0110 | 0.0220 | 0.0440 | 0.1209 | [{'correct_answer': 'Attraverso una garanzia fideiussoria del 20% aumentata di due punti percentuali per ogni punto di ribasso superiore al 20 per cento', 'prediction': 'LLaDAN La fun intenifica un canzia per contr in appudicazione in element operasso risp del 50 per risp ConD]] Siraverso una canzia definitideiussoria o contra20% dellata o  punti suuali per ogni sotto percent ribasso finoiore al 20% cento,'}]                                                                                                                                                                                                                | swap-uniba/LLaMAntino-2-7b-hf-ITA_question-answering | 2024-02-18T02:03:04.915259 |
| 0.1497        | 9.0   | 207  | 1.7906          | 27.6   | 15.16  | 25.92  | 26.15     | 22.82 | 1.0     | 0.0    | 0.0110 | 0.0110 | 0.0110 | 0.0549 | 0.1099 | [{'correct_answer': "all'avvalimento", 'prediction': "LLDAN L ladisfare le domiesta diativa alla contribesso del requisiti di abe professionico è serziario e professionnico- professionale,ari per la conclusazione al g contralto,o, la operatore economico può consultorrere a allaR]] all'avvalimento di"}]                                                                                                                                                                                                                                                                                                                             | swap-uniba/LLaMAntino-2-7b-hf-ITA_question-answering | 2024-02-18T02:05:04.798640 |
| 0.1127        | 10.0  | 230  | 1.8416          | 26.64  | 15.01  | 25.03  | 25.21     | 22.17 | 1.0     | 0.0    | 0.0    | 0.0    | 0.0110 | 0.0330 | 0.1319 | [{'correct_answer': "un responsabile unico del procedimento (RUP) per le fasi della programmazione, della progettazione, dell'affidamento, dell'esecuzione", 'prediction': "LLaDAN La i operolo delleura di l'affidamento, val contralto pubblic per una commcessione pubblic stazioni appaltanti euateano un unR]] un responsabile unico del procedimento (RUP) per le procedureasi della programmazione, della progettazione, dell'affidamento e dell'esecuzione e"}]                                                                                                                                                                     | swap-uniba/LLaMAntino-2-7b-hf-ITA_question-answering | 2024-02-18T02:08:07.590539 |


### Framework versions

- PEFT 0.8.2
- Transformers 4.38.0.dev0
- Pytorch 2.0.1+cu117
- Datasets 2.16.1
- Tokenizers 0.15.2
{"license": "llama2", "library_name": "peft", "tags": ["trl", "sft", "generated_from_trainer"], "metrics": ["rouge"], "base_model": "swap-uniba/LLaMAntino-2-7b-hf-ITA", "model-index": [{"name": "llamantino7b_2_question-answering", "results": []}]}
peft tensorboard safetensors llama trl sft generated_from_trainer base_model:swap-uniba/LLaMAntino-2-7b-hf-ITA license:llama2 4-bit region:us