peft safetensors phi-msft trl sft generated_from_trainer custom_code base_model:microsoft/phi-2 license:mit 4-bit bitsandbytes region:us
---
license: mit
library_name: peft
tags:
- trl
- sft
- generated_from_trainer
metrics:
- rouge
base_model: microsoft/phi-2
model-index:
- name: phi2_question_answering_finetuining_syntetic
  results: []
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# phi2_question_answering_finetuining_syntetic

This model is a fine-tuned version of [microsoft/phi-2](https://huggingface.co/microsoft/phi-2) on the None dataset.
It achieves the following results on the evaluation set:
- Loss: 0.9552
- Rouge1: 45.79
- Rouge2: 38.27
- Rougel: 44.42
- Rougelsum: 45.46
- R: 42.78
- Gen Len: 1.0
- R@1: 0.0
- R@3: 0.0
- R@5: 0.0
- R@10: 0.25
- R@20: 0.25
- R@50: 0.5
- Sample: [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ", Hegu princip ami, fun � � fun fun funàggioneo � lao e Ilcheit � regguola modo: asspettare son fun principe possoo:llali principi modiudicii.leice,li assistali,aliane,\n.etti � s principo �\n principi Ilit amo app amministrazioni aggiudicatrici e degi enti aggiudicatori,,ono esguire il mige decice disciplinato d l principret diblici. qualgettazione, \n1 d: Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione sono quelli che,anno unpropeito d'esisisione del contrizi, forniture, lavori e opere med in prevo del setto de \n!!!!!!!!!!!!!!"}]
- Model Name: microsoft/phi-2_question-answering
- Datetime: 2024-02-17T21:15:36.490162

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 0.002
- train_batch_size: 1
- eval_batch_size: 1
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 10

### Training results

| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | R     | Gen Len | R@1 | R@3 | R@5  | R@10 | R@20 | R@50 | Sample                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     | Model Name                         | Datetime                   |
|:-------------:|:-----:|:----:|:---------------:|:------:|:------:|:------:|:---------:|:-----:|:-------:|:---:|:---:|:----:|:----:|:----:|:----:|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:----------------------------------:|:--------------------------:|
| 2.1753        | 1.0   | 16   | 1.3452          | 29.26  | 18.71  | 27.37  | 28.45     | 25.06 | 1.0     | 0.0 | 0.0 | 0.0  | 0.0  | 0.0  | 0.5  | [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': 'ions "gmentichiaenza., modice modecazzionei,idae. zisi il concguis funa. lpetettis. funaliano.iso.ili amima contriudii. risice deli contrali.aliani.\nisetti e italiano bas\n i is dio e funmrazionei eiudicativerici, ni ami diiudicicatei. ilis.iis. principe.ice deginare. l contror.blici. amgettoazione, \n\n Answer:  amministrazionei aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione.o dielli di dianno il contrpeisto di\'indisisione, contrizi, nniture, e\'i, npere, n aa diel riso di \n!!!!!!!!!!!!!!'}]                                                                                                                                                                                                | microsoft/phi-2_question-answering | 2024-02-17T21:14:25.847781 |
| 1.2882        | 2.0   | 32   | 1.2974          | 37.0   | 24.02  | 34.69  | 35.44     | 31.8  | 1.0     | 0.0 | 0.0 | 0.0  | 0.25 | 0.25 | 0.5  | [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': "ions  � di critenza,, cige massaazzioneo,atoaa chz il responsrener risa. asspetettent. baseai.aare.ali assram regioreao.leice dellioreaarearialiao, affetti e italiano bas  Lea Ila risa ass regministrativeioni eludatrici e conci enti conciudati, assono risguent ris rise risice,erato, l contror.blici, reggettoazione, \n\n Le: Le amministrazioni aggiudatrici e gli enti aggiudicatori e devono seguire il presente codice disciplinare per i concor pubblici di progettazione,o leelli di devanno ass basepelto l'indisireione de regii e eiiture e e'i e asspere, e risa ael Codo, \n!!!!!!!!!!!!!!"}]                                                                                                                                                                                         | microsoft/phi-2_question-answering | 2024-02-17T21:14:33.541566 |
| 0.8018        | 3.0   | 48   | 1.1995          | 39.37  | 26.53  | 36.43  | 38.34     | 34.01 | 1.0     | 0.0 | 0.0 | 0.0  | 0.0  | 0.25 | 0.25 | [{'correct_answer': "Il principio del risultato, prioritario per l'esercizio del potere discrezionale e per l'individuazione della regola del caso concreto, vale per valutare la responsabilità del personale amministrativo o tecnico nelle fasi di programmazione, progettazione, affidamento ed esecuzione dei contratti. In tal senso, la contrattazione collettiva prevede l'attribuzione degli incentivi secondo le modalità previste.", 'prediction': "ions Readi diao, n �illallaiaziioni.atamentoe\ncheit de regiente:o: assietti. line.i.iament.ali ami triudicii.iice degli Appii.aliani.\naffetti � linealiano bas\n 1 1 Ili �i dio nio dalla contrattazione degttiva?i risi degministricric, degcnic, \n\n:: Il principio delllaultato � denominà d il'affercizio del potere discrezionale e per il'individuazione della regola del codo degreto. denominu d ilutare la trabilità del codale amministrativo o tecnico.elle fasi di programmazione, progettazione, affidamento ed esecuzione dei contratti.  lineia, il responsattazione collettiva perie d'affazioneione delli ami sono iialità previst d"}] | microsoft/phi-2_question-answering | 2024-02-17T21:14:40.466186 |
| 0.5295        | 4.0   | 64   | 0.9953          | 43.0   | 32.94  | 40.89  | 42.25     | 38.87 | 1.0     | 0.0 | 0.0 | 0.25 | 0.25 | 0.25 | 0.5  | [{'correct_answer': "Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici perseguono il risultato dell'affidamento del contratto e della sua esecuzione con la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel rispetto dei principi di legalità, trasparenza e concorrenza.", 'prediction': "Iions Readgu di crito, e �gure mod �azisioneale �assamento.\nchit � responsguente modo: asspetettare son mod principo �aleament.llali operatoriv modivudamenti.leice degli operatorali dialiani.\n.ettare son modazo son\n princip 1 Ilit disciplio dio son modazolei dialtanti e degi enti aggenti?lla�esidareo deli contratti diblici? \n1ar: Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici sonseguono la migpetato costi'affidamento del contratto e dei sua esecuzione de la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel settpetto dei principi di efficità, trasparenza e concorrenza. Il\n!!!!!!!!!!!!!!!!"}]                                                               | microsoft/phi-2_question-answering | 2024-02-17T21:14:47.883605 |
| 0.402         | 5.0   | 80   | 1.0214          | 44.14  | 34.48  | 41.67  | 43.81     | 40.03 | 1.0     | 0.0 | 0.0 | 0.0  | 0.25 | 0.25 | 0.25 | [{'correct_answer': "Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici perseguono il risultato dell'affidamento del contratto e della sua esecuzione con la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel rispetto dei principi di legalità, trasparenza e concorrenza.", 'prediction': "ions Readgu contraiia s sllallaaazaioni �ettiia\ncheit del massgua riso � asspettente princip fun.i principao.llali incentivi diiudicii, principice degli assistali,alianii\nisetti agg aff�o bas\n principi Ilit critio dio agg amazioni appaltantii assi enti aggenti,lla�affidareo deli contratti risblici, \n\ni: Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici,seguono il principultato,i'affidareo del contratto ris dei conca massecuzione con il massima tempestività, il migliore rapporto possibile tra qualità e prezzo, risel rispetto dei principi di legalità, trasparenza e concorrenza. \n!!!!!!!!!!!!!!!!"}]                                                                                         | microsoft/phi-2_question-answering | 2024-02-17T21:14:55.216370 |
| 0.2993        | 6.0   | 96   | 0.9595          | 44.66  | 35.5   | 43.23  | 44.28     | 41.06 | 1.0     | 0.0 | 0.0 | 0.0  | 0.25 | 0.25 | 0.25 | [{'correct_answer': "Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici perseguono il risultato dell'affidamento del contratto e della sua esecuzione con la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel rispetto dei principi di legalità, trasparenza e concorrenza.", 'prediction': 'ions " � principii, ( s slla f sonazllaco �llaoo son cheit: trllaente:o: asspetto son fun.e.o..lla. principi.iudoo. codo.li entalo (.e..etto son s.o son\n.: Ilit �io dio? fazioni appalti e degi enti aggii?lla\'esidareo deli contratti.blici? \n1.: Il stazioni appaltanti e gli enti concedenti glla\'affidamento dei contratti pubblici.seguono il principultato,i\'esidamento del contratto e dei cora esecuzione. la massima tempestività e il migliore rapporto traibile tra qualità e prezzo, nelle rispetto dei principi di legalità, trasparenza e concorrenza. \n!!!!!!!!!!!!!!!!'}]                                                                                                                                                             | microsoft/phi-2_question-answering | 2024-02-17T21:15:02.766227 |
| 0.2005        | 7.0   | 112  | 0.9776          | 46.03  | 35.23  | 43.16  | 44.58     | 41.39 | 1.0     | 0.0 | 0.0 | 0.0  | 0.0  | 0.25 | 0.25 | [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ', "gu contraag � � � �gu f funazgeco �llaao la cheit � regguente modo � asspetettto, fun.ge.aall.ali obiv risiudicao. presentice,li assistalo,aliane,.ettto � fun �o �  D 1 Ilis disciplo la amministrativeioni aggiudicatrici e degi enti aggiudicicatori, sono servguire il mige decice deginato ed l risret diblici, appgettazione, \n1.: Le amministrazioni aggiudicatrici e gli enti aggiudicicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione,o quelli del,anno prev conpeioneto il\'esisconione del glizi, forniture, lavori e opere med in preva del setto del \n!!!!!!!!!!!!!!'}]                                                                                                                                                               | microsoft/phi-2_question-answering | 2024-02-17T21:15:14.294331 |
| 0.1439        | 8.0   | 128  | 0.8966          | 44.68  | 36.47  | 42.58  | 43.61     | 41.19 | 1.0     | 0.0 | 0.0 | 0.25 | 0.25 | 0.25 | 0.5  | [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ",\ngu princip principi, aff � �gu f affàggiono � lao al cheisi � regguente modo: asspettare son base principe conaando principllali principiv principiudii.leice,li assistali,aliane.\naffetti � base principo bas\n principi Leit principo le amministrazioni aggiudicatrici e degi enti aggiudicatori?,ono affguire un principe edice deginato ed l principret principblici? affgettazione,,\n princip d: Le amministrazioni aggiudatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione sono quelli che,anno un dispospeito ed'esisconione del contrizi, forniture, lavori, opere med in preva del principo de \n!!!!!!!!!!!!!!"}]                                                                                                | microsoft/phi-2_question-answering | 2024-02-17T21:15:21.699818 |
| 0.0619        | 9.0   | 144  | 0.9836          | 44.56  | 36.99  | 43.52  | 44.56     | 41.64 | 1.0     | 0.0 | 0.0 | 0.25 | 0.25 | 0.25 | 0.5  | [{'correct_answer': "Gli obiettivi dell'Unione europea che vengono perseguiti dai concorsi pubblici di progettazione sono quelli dell'interesse della comunità.", 'prediction': ", Hegu princip principi agg fun � � fun fun funàggioneo �llaao e cheit � regguola modo: asspettare: fun principe:oando:llali principi aggiudicii.leice,li assistali,aliane,\n.etti � base principo base\n principi Ili amo appi entaltienti agglla'appivers depella,,istono affseguuito eal contror,blici, affgettazione, \ngl d: Gli obiettivi dell'Unione europea v vengono perseguiti dai concor pubblici di progettazione sono quelli deli'apperesse dlla regolaà, \n!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!"}]                                                                                                                                                                                                                                                                                                                                                                                             | microsoft/phi-2_question-answering | 2024-02-17T21:15:29.001088 |
| 0.0237        | 10.0  | 160  | 0.9552          | 45.79  | 38.27  | 44.42  | 45.46     | 42.78 | 1.0     | 0.0 | 0.0 | 0.0  | 0.25 | 0.25 | 0.5  | [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ", Hegu princip ami, fun � � fun fun funàggioneo � lao e Ilcheit � regguola modo: asspettare son fun principe possoo:llali principi modiudicii.leice,li assistali,aliane,\n.etti � s principo �\n principi Ilit amo app amministrazioni aggiudicatrici e degi enti aggiudicatori,,ono esguire il mige decice disciplinato d l principret diblici. qualgettazione, \n1 d: Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione sono quelli che,anno unpropeito d'esisisione del contrizi, forniture, lavori e opere med in prevo del setto de \n!!!!!!!!!!!!!!"}]                                                                                                                                          | microsoft/phi-2_question-answering | 2024-02-17T21:15:36.490162 |


### Framework versions

- PEFT 0.8.2
- Transformers 4.38.0.dev0
- Pytorch 2.0.1+cu117
- Datasets 2.16.1
- Tokenizers 0.15.2