
<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# gpt2-medium-wikiwriter-squadv11-portuguese

This model is a fine-tuned version of [egonrp/gpt2-wikiwriter-medium-portuguese](https://huggingface.co/egonrp/gpt2-wikiwriter-medium-portuguese) on wiki_pt and squad_v1.1_pt datasets.

** It's a chatbot experiment. ;)

The model was trained in 12 hours on a NVIDIA RTX 3060 12GB.


### Usage:
```
$ python3
>>> from transformers import pipeline, set_seed
>>> set_seed(42)
>>> generator = pipeline('text-generation', model="egonrp/gpt2-medium-wikiwriter-squadv11-portuguese")
>>> result = generator('<|prompter|>A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Quando foi reportado o primeiro caso de COVID-19?<|assistant|>', max_new_tokens=110, num_return_sequences=1, do_sample=False)
>>> print(result)
[{'generated_text': '<|prompter|>A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Quando foi reportado o primeiro caso de COVID-19?<|assistant|>31 de dezembro do mesmo ano'}]
```



### Usage.2:
```
$ python3
>>> from transformers import GPT2LMHeadModel, GPT2Tokenizer, set_seed
>>> set_seed(42)
>>> model = GPT2LMHeadModel.from_pretrained("egonrp/gpt2-medium-wikiwriter-squadv11-portuguese")
>>> tokenizer = GPT2Tokenizer.from_pretrained("egonrp/gpt2-medium-wikiwriter-squadv11-portuguese")
>>> tokenizer.add_special_tokens({'pad_token': tokenizer.eos_token})
>>> model.config.pad_token_id = tokenizer.eos_token_id
>>> prompt_text = '<|prompter|>A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Quando foi reportado o primeiro caso de COVID-19?<|assistant|>'
>>> encoded_prompt = tokenizer.encode(prompt_text, return_tensors="pt")
>>> output_sequences = model.generate(
    input_ids=encoded_prompt,
    do_sample=False,
    num_return_sequences=1,
    max_new_tokens=110,
    eos_token_id=model.config.eos_token_id,
    pad_token_id=model.config.eos_token_id
)
>>> decoded_text = tokenizer.decode(output_sequences[0], skip_special_tokens=True)
>>> print(decoded_text)
<|prompter|>A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Quando foi reportado o primeiro caso de COVID-19?<|assistant|>31 de dezembro do mesmo ano
```



## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

```
git clone -b v4.27-release https://github.com/huggingface/transformers.git
cd transformers/examples/pytorch/language-modeling/
pip install -r requirements.txt
pip install transformers==v4.27.3
python3 run_clm.py \
    --model_name_or_path egonrp/gpt2-wikiwriter-medium-portuguese \
    --train_file /home/egon/dev/gptsquad_data/converted_squad_merged_out_v4c.txt \
    --do_train \
    --num_train_epochs 3 \
    --per_device_train_batch_size 1 \
    --output_dir /home/egon/dev/gptsquad_model/results_v4c_medium_no_eval \
    --fp16
```

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 1
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 3.0
- mixed_precision_training: Native AMP

### Training results



### Framework versions

- Transformers 4.26.1
- Pytorch 2.0.0+cu117
- Datasets 2.10.1
- Tokenizers 0.13.2
{"language": ["pt"], "license": "mit", "library_name": "transformers", "tags": ["generated_from_trainer"], "datasets": ["squad", "squad_v1_pt", "wikipedia"], "inference": {"parameters": {"do_sample": false, "max_new_tokens": 120}}, "widget": [{"text": "<|prompter|>A pandemia de COVID-19, tamb\u00e9m conhecida como pandemia de coronav\u00edrus, \u00e9 uma pandemia em curso de COVID-19, uma doen\u00e7a respirat\u00f3ria aguda causada pelo coronav\u00edrus da s\u00edndrome respirat\u00f3ria aguda grave 2 (SARS-CoV-2). A doen\u00e7a foi identificada pela primeira vez em Wuhan, na prov\u00edncia de Hubei, Rep\u00fablica Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Onde foi descoberta a Covid-19?<|assistant|>"}, {"text": "<|prompter|>A pandemia de COVID-19, tamb\u00e9m conhecida como pandemia de coronav\u00edrus, \u00e9 uma pandemia em curso de COVID-19, uma doen\u00e7a respirat\u00f3ria aguda causada pelo coronav\u00edrus da s\u00edndrome respirat\u00f3ria aguda grave 2 (SARS-CoV-2). A doen\u00e7a foi identificada pela primeira vez em Wuhan, na prov\u00edncia de Hubei, Rep\u00fablica Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Onde a COVID-19 foi identificada pela primeira vez?<|assistant|>"}, {"text": "<|prompter|>A pandemia de COVID-19, tamb\u00e9m conhecida como pandemia de coronav\u00edrus, \u00e9 uma pandemia em curso de COVID-19, uma doen\u00e7a respirat\u00f3ria aguda causada pelo coronav\u00edrus da s\u00edndrome respirat\u00f3ria aguda grave 2 (SARS-CoV-2). A doen\u00e7a foi identificada pela primeira vez em Wuhan, na prov\u00edncia de Hubei, Rep\u00fablica Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Quando a COVID-19 foi identificada pela primeira vez?<|assistant|>"}, {"text": "<|prompter|>A pandemia de COVID-19, tamb\u00e9m conhecida como pandemia de coronav\u00edrus, \u00e9 uma pandemia em curso de COVID-19, uma doen\u00e7a respirat\u00f3ria aguda causada pelo coronav\u00edrus da s\u00edndrome respirat\u00f3ria aguda grave 2 (SARS-CoV-2). A doen\u00e7a foi identificada pela primeira vez em Wuhan, na prov\u00edncia de Hubei, Rep\u00fablica Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Quando a doen\u00e7a foi reportada pela primeira vez?<|assistant|>"}, {"text": "<|prompter|>A pandemia de COVID-19, tamb\u00e9m conhecida como pandemia de coronav\u00edrus, \u00e9 uma pandemia em curso de COVID-19, uma doen\u00e7a respirat\u00f3ria aguda causada pelo coronav\u00edrus da s\u00edndrome respirat\u00f3ria aguda grave 2 (SARS-CoV-2). A doen\u00e7a foi identificada pela primeira vez em Wuhan, na prov\u00edncia de Hubei, Rep\u00fablica Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Quando foi reportado o primeiro caso de COVID-19?<|assistant|>"}, {"text": "<|prompter|>A pandemia de COVID-19, tamb\u00e9m conhecida como pandemia de coronav\u00edrus, \u00e9 uma pandemia em curso de COVID-19, uma doen\u00e7a respirat\u00f3ria aguda causada pelo coronav\u00edrus da s\u00edndrome respirat\u00f3ria aguda grave 2 (SARS-CoV-2). A doen\u00e7a foi identificada pela primeira vez em Wuhan, na prov\u00edncia de Hubei, Rep\u00fablica Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Em que ano a doen\u00e7a foi identificada pela primeira vez?<|assistant|>"}, {"text": "<|prompter|>Game of Thrones \u00e9 uma s\u00e9rie de TV produzida pelo canal de televis\u00e3o a cabo HBO. \u00c9 baseada na s\u00e9rie de romances As Cr\u00f4nicas de Gelo e Fogo, escrita por George R.R. Martin, que \u00e9 produtor, consultor criativo e roteirista da s\u00e9rie de TV. David Benioff e D.B. Weiss criaram a s\u00e9rie de TV e s\u00e3o produtores executivos, e escritores principais.A s\u00e9rie consiste em oito temporadas totalmente transmitidas, compreendendo setenta e tr\u00eas epis\u00f3dios no total.A produ\u00e7\u00e3o da s\u00e9rie \u00e9 baseada em Belfast, Irlanda do Norte, principalmente no Paint Hall Studios. \u00c9 a maior e mais cara produ\u00e7\u00e3o de televis\u00e3o j\u00e1 montada na Irlanda do Norte. As filmagens da s\u00e9rie tamb\u00e9m foram realizadas em Malta, Isl\u00e2ndia, Cro\u00e1cia, Marrocos, Espanha e EUA. Quem foi o autor dos livros Game of Thrones?<|assistant|>"}, {"text": "<|prompter|>Game of Thrones \u00e9 uma s\u00e9rie de TV produzida pelo canal de televis\u00e3o a cabo HBO. \u00c9 baseada na s\u00e9rie de romances As Cr\u00f4nicas de Gelo e Fogo, escrita por George R.R. Martin, que \u00e9 produtor, consultor criativo e roteirista da s\u00e9rie de TV. David Benioff e D.B. Weiss criaram a s\u00e9rie de TV e s\u00e3o produtores executivos, e escritores principais.A s\u00e9rie consiste em oito temporadas totalmente transmitidas, compreendendo setenta e tr\u00eas epis\u00f3dios no total.A produ\u00e7\u00e3o da s\u00e9rie \u00e9 baseada em Belfast, Irlanda do Norte, principalmente no Paint Hall Studios. \u00c9 a maior e mais cara produ\u00e7\u00e3o de televis\u00e3o j\u00e1 montada na Irlanda do Norte. As filmagens da s\u00e9rie tamb\u00e9m foram realizadas em Malta, Isl\u00e2ndia, Cro\u00e1cia, Marrocos, Espanha e EUA. Quem foi o escritor dos livros Game of Thrones?<|assistant|>"}, {"text": "<|prompter|>Game of Thrones \u00e9 uma s\u00e9rie de TV produzida pelo canal de televis\u00e3o a cabo HBO. \u00c9 baseada na s\u00e9rie de romances As Cr\u00f4nicas de Gelo e Fogo, escrita por George R.R. Martin, que \u00e9 produtor, consultor criativo e roteirista da s\u00e9rie de TV. David Benioff e D.B. Weiss criaram a s\u00e9rie de TV e s\u00e3o produtores executivos, e escritores principais.A s\u00e9rie consiste em oito temporadas totalmente transmitidas, compreendendo setenta e tr\u00eas epis\u00f3dios no total.A produ\u00e7\u00e3o da s\u00e9rie \u00e9 baseada em Belfast, Irlanda do Norte, principalmente no Paint Hall Studios. \u00c9 a maior e mais cara produ\u00e7\u00e3o de televis\u00e3o j\u00e1 montada na Irlanda do Norte. As filmagens da s\u00e9rie tamb\u00e9m foram realizadas em Malta, Isl\u00e2ndia, Cro\u00e1cia, Marrocos, Espanha e EUA. Quem s\u00e3o os produtores executivos da s\u00e9rie de TV Game of Thrones?<|assistant|>"}, {"text": "<|prompter|>Game of Thrones \u00e9 uma s\u00e9rie de TV produzida pelo canal de televis\u00e3o a cabo HBO. \u00c9 baseada na s\u00e9rie de romances As Cr\u00f4nicas de Gelo e Fogo, escrita por George R.R. Martin, que \u00e9 produtor, consultor criativo e roteirista da s\u00e9rie de TV. David Benioff e D.B. Weiss criaram a s\u00e9rie de TV e s\u00e3o produtores executivos, e escritores principais.A s\u00e9rie consiste em oito temporadas totalmente transmitidas, compreendendo setenta e tr\u00eas epis\u00f3dios no total.A produ\u00e7\u00e3o da s\u00e9rie \u00e9 baseada em Belfast, Irlanda do Norte, principalmente no Paint Hall Studios. \u00c9 a maior e mais cara produ\u00e7\u00e3o de televis\u00e3o j\u00e1 montada na Irlanda do Norte. As filmagens da s\u00e9rie tamb\u00e9m foram realizadas em Malta, Isl\u00e2ndia, Cro\u00e1cia, Marrocos, Espanha e EUA. Onde foram realizadas as filmagens da s\u00e9rie Game of Thrones?<|assistant|>"}, {"text": "<|prompter|>O sistema de bibliotecas da universidade \u00e9 dividido entre a biblioteca principal e cada uma das faculdades e escolas. O edif\u00edcio principal \u00e9 a Biblioteca Theodore M. Hesburgh, de 14 andares, conclu\u00edda em 1963, que \u00e9 o terceiro edif\u00edcio a abrigar a principal cole\u00e7\u00e3o de livros. A frente da biblioteca \u00e9 decorada com o mural da Palavra da Vida, projetado pelo artista Millard Sheets. Este mural \u00e9 conhecido popularmente como \"Touchdown Jesus\" devido \u00e0 sua proximidade com o Est\u00e1dio Notre Dame e os bra\u00e7os de Jesus aparecendo para sinalizar um touchdown. Quantos andares possui a Biblioteca Theodore M. Hesburgh?<|assistant|>"}, {"text": "<|prompter|>O sistema de bibliotecas da universidade \u00e9 dividido entre a biblioteca principal e cada uma das faculdades e escolas. O edif\u00edcio principal \u00e9 a Biblioteca Theodore M. Hesburgh, de 14 andares, conclu\u00edda em 1963, que \u00e9 o terceiro edif\u00edcio a abrigar a principal cole\u00e7\u00e3o de livros. A frente da biblioteca \u00e9 decorada com o mural da Palavra da Vida, projetado pelo artista Millard Sheets. Este mural \u00e9 conhecido popularmente como \"Touchdown Jesus\" devido \u00e0 sua proximidade com o Est\u00e1dio Notre Dame e os bra\u00e7os de Jesus aparecendo para sinalizar um touchdown. Em que ano a Biblioteca Theodore M. Hesburgh em Notre Dame terminou?<|assistant|>"}, {"text": "<|prompter|>Rick Grimes \u00e9 o xerife de uma pequena cidade do estado da Georgia, quando certo dia, \u00e9 baleado por criminosos durante uma persegui\u00e7\u00e3o e entra em coma. Semanas depois, ele acorda em um hospital abandonado e totalmente danificado. Ao sair do hospital, Rick se encontra em um mundo p\u00f3s-apocal\u00edptico dominado por mortos-vivos. Depois de conhecer Morgan Jones e seu filho, Duane, que lhe explica o novo mundo, Rick decide ir para Atlanta atr\u00e1s de sua fam\u00edlia, onde um poss\u00edvel centro de refugiados foi montado pela Guarda Nacional. Ao chegar em Atlanta, ele logo descobre que a cidade est\u00e1 vazia e foi dominada pelos mortos. Quem o xerife Rick Grimes conheceu?<|assistant|>"}, {"text": "O sistema de bibliotecas da universidade \u00e9 dividido entre a biblioteca principal"}, {"text": "Game of Thrones \u00e9"}], "model-index": [{"name": "results_v4c_medium_no_eval", "results": []}]}
transformers pytorch gpt2 text-generation generated_from_trainer pt dataset:squad dataset:squad_v1_pt dataset:wikipedia license:mit autotrain_compatible endpoints_compatible has_space text-generation-inference region:us
TAGS
#transformers #pytorch #gpt2 #text-generation #generated_from_trainer #pt #dataset-squad #dataset-squad_v1_pt #dataset-wikipedia #license-mit #autotrain_compatible #endpoints_compatible #has_space #text-generation-inference #region-us 




# gpt2-medium-wikiwriter-squadv11-portuguese

This model is a fine-tuned version of egonrp/gpt2-wikiwriter-medium-portuguese on wiki_pt and squad_v1.1_pt datasets.

 It's a chatbot experiment. ;)

The model was trained in 12 hours on a NVIDIA RTX 3060 12GB.


### Usage:




### Usage.2:




## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure



### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 1
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 3.0
- mixed_precision_training: Native AMP

### Training results



### Framework versions

- Transformers 4.26.1
- Pytorch 2.0.0+cu117
- Datasets 2.10.1
- Tokenizers 0.13.2
# gpt2-medium-wikiwriter-squadv11-portuguese

This model is a fine-tuned version of egonrp/gpt2-wikiwriter-medium-portuguese on wiki_pt and squad_v1.1_pt datasets.

 It's a chatbot experiment. ;)

The model was trained in 12 hours on a NVIDIA RTX 3060 12GB. ### Usage: ### Usage.2: ## Model description

More information needed ## Intended uses & limitations

More information needed ## Training and evaluation data

More information needed ## Training procedure ### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 1
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 3.0
- mixed_precision_training: Native AMP ### Training results ### Framework versions

- Transformers 4.26.1
- Pytorch 2.0.0+cu117
- Datasets 2.10.1
- Tokenizers 0.13.2
TAGS
#transformers #pytorch #gpt2 #text-generation #generated_from_trainer #pt #dataset-squad #dataset-squad_v1_pt #dataset-wikipedia #license-mit #autotrain_compatible #endpoints_compatible #has_space #text-generation-inference #region-us 
 # gpt2-medium-wikiwriter-squadv11-portuguese

This model is a fine-tuned version of egonrp/gpt2-wikiwriter-medium-portuguese on wiki_pt and squad_v1.1_pt datasets.

 It's a chatbot experiment. ;)

The model was trained in 12 hours on a NVIDIA RTX 3060 12GB. ### Usage: ### Usage.2: ## Model description

More information needed ## Intended uses & limitations

More information needed ## Training and evaluation data

More information needed ## Training procedure ### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 1
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 3.0
- mixed_precision_training: Native AMP ### Training results ### Framework versions

- Transformers 4.26.1
- Pytorch 2.0.0+cu117
- Datasets 2.10.1
- Tokenizers 0.13.2
TAGS
#transformers #pytorch #gpt2 #text-generation #generated_from_trainer #pt #dataset-squad #dataset-squad_v1_pt #dataset-wikipedia #license-mit #autotrain_compatible #endpoints_compatible #has_space #text-generation-inference #region-us 
# gpt2-medium-wikiwriter-squadv11-portuguese

This model is a fine-tuned version of egonrp/gpt2-wikiwriter-medium-portuguese on wiki_pt and squad_v1.1_pt datasets.

 It's a chatbot experiment. ;)

The model was trained in 12 hours on a NVIDIA RTX 3060 12GB.### Usage:### Usage.2:## Model description

More information needed## Intended uses & limitations

More information needed## Training and evaluation data

More information needed## Training procedure### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 1
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 3.0
- mixed_precision_training: Native AMP### Training results### Framework versions

- Transformers 4.26.1
- Pytorch 2.0.0+cu117
- Datasets 2.10.1
- Tokenizers 0.13.2