
# Portuguese T5 for Abstractive Summarization (PTT5 Summ)

## Introduction
PTT5 Summ is a fine-tuned [PTT5](https://github.com/unicamp-dl/PTT5) model to perform Abstractive Summarization in Brazilian Portuguese texts. This model was fine-tuned on the datasets: [RecognaSumm](https://huggingface.co/datasets/recogna-nlp/recognasumm), [WikiLingua](https://github.com/esdurmus/Wikilingua), [XL-Sum](https://github.com/csebuetnlp/xl-sum), [TeMário](http://www.nilc.icmc.usp.br/nilc/download/NILCTR0706-MazieroEtAl(2).pdf) and [CSTNews](http://nilc.icmc.usp.br/CSTNews/login/?next=/CSTNews/).

For further information, please go to [PTT5 Summ repository](https://github.com/pedropaiola/ptt5-summ).

## Available models
| Model                                                                                                | Dataset used in fine-tuning| 
| :-:                                                                                                  | :-:                        | 
| [recogna-nlp/ptt5-base-summ](https://huggingface.co/recogna-nlp/ptt5-base-summ)                            | [RecognaSumm](https://huggingface.co/datasets/recogna-nlp/recognasumm) |
| [recogna-nlp/ptt5-base-summ-wikilingua](https://huggingface.co/recogna-nlp/ptt5-base-summ-wikilingua)      | WikiLingua |
| [recogna-nlp/ptt5-base-summ-xlsum](https://huggingface.co/recogna-nlp/ptt5-base-summ-xlsum)                | XL-Sum     |
| [recogna-nlp/ptt5-base-summ-temario](https://huggingface.co/recogna-nlp/ptt5-base-summ-temario)            | 1st phase: WikiLingua. 2nd phase: TeMario |
| [recogna-nlp/ptt5-base-summ-cstnews](https://huggingface.co/recogna-nlp/ptt5-base-summ-cstnews)            | 1st phase: WikiLingua. 2nd phase: CSTNews|

## Usage example
```python
# Tokenizer 
from transformers import T5Tokenizer

# PyTorch model 
from transformers import T5Model, T5ForConditionalGeneration

token_name = 'unicamp-dl/ptt5-base-portuguese-vocab'
model_name = 'recogna-nlp/ptt5-base-summ'

tokenizer = T5Tokenizer.from_pretrained(token_name )
model_pt = T5ForConditionalGeneration.from_pretrained(model_name)

text = '''
“A tendência de queda da taxa de juros no Brasil é real, é visível”, disse Meirelles, que participou na capital americana de uma série de reuniões e encontros com banqueiros e investidores que aconteceram paralelamente às reuniões do Fundo Monetário Internacional (FMI) e do Banco Mundial (Bird) no fim de semana.
Para o presidente do BC, a atual política econômica do governo e a manutenção da taxa de inflação dentro da meta são fatores que garantem queda na taxa de juros a longo prazo.
“Mas é importante que nós não olhemos para isso apenas no curto prazo. Temos que olhar no médio e longo prazos”, disse Meirelles.
Para ele, o trabalho que o Banco Central tem feito para conter a inflação dentro da meta vai gerar queda gradual da taxa de juros.
BC do ano
Neste domingo, Meirelles participou da cerimônia de entrega do prêmio “Banco Central do ano”, oferecido pela revista The Banker à instituição que preside.
“Este é um sinal importante de reconhecimento do nosso trabalho, de que o Brasil está indo na direção correta”, disse ele.
Segundo Meirelles, o Banco Central do Brasil está sendo percebido como uma instituição comprometida com a meta de inflação.
“Isso tem um ganho importante, na medida em que os agentes formadores de preços começam a apostar que a inflação vai estar na meta, que isso é levado a sério no Brasil”, completou.
O presidente do Banco Central disse ainda que a crise política brasileira não foi um assunto de interesse prioritário dos investidores que encontrou no fim de semana.
'''

inputs = tokenizer.encode(text, max_length=512, truncation=True, return_tensors='pt')
summary_ids = model_pt.generate(inputs, max_length=256, min_length=32, num_beams=5, no_repeat_ngram_size=3, early_stopping=True)
summary = tokenizer.decode(summary_ids[0])
print(summary)
#<pad> Meirelles diz que tendência de queda da taxa de juros no Brasil é real e é visível. Presidente do Banco Central do Brasil participou de cerimônia de entrega do prêmio ‘Banco Central do ano’ à instituição que preside.</s>

```

# Citation

## Deep Learning-Based Abstractive Summarization for Brazilian Portuguese Texts (PROPOR 2022)

    @aInProceedings{ptt5summ_bracis,
      author="Paiola, Pedro H.
        and de Rosa, Gustavo H.
        and Papa, Jo{\~a}o P.",
      editor="Xavier-Junior, Jo{\~a}o Carlos
        and Rios, Ricardo Ara{\'u}jo",
      title="Deep Learning-Based Abstractive Summarization for Brazilian Portuguese Texts",
      booktitle="BRACIS 2022: Intelligent Systems",
      year="2022",
      publisher="Springer International Publishing",
      address="Cham",
      pages="479--493",
      isbn="978-3-031-21689-3"}

## RecognaSumm: A Novel Brazilian Summarization Dataset (PROPOR 2024)

    Comming soon
{"language": ["pt"], "license": "mit", "tags": ["t5", "pytorch", "pt", "pt-br", "summarization", "abstractive summarization"], "datasets": ["recogna-nlp/recognasumm"], "inference": {"parameters": {"min_length": 32, "max_length": 256, "top_k": 5}}, "widget": [{"text": "Os americanos n\u00e3o devem se preocupar com a guerra nuclear, disse o presidente dos EUA, Joe Biden, nesta segunda-feira (28). A fala vem um dia depois que o presidente russo, Vladimir Putin, colocou as equipes nucleares da R\u00fassia em alerta m\u00e1ximo. Os Estados Unidos disseram nesta segunda que n\u00e3o detectaram nenhuma mudan\u00e7a \"concreta\" na posi\u00e7\u00e3o nuclear da R\u00fassia. \"Ainda estamos monitorando e acompanhando a quest\u00e3o muito de perto\", disse um alto funcion\u00e1rio do Pent\u00e1gono a rep\u00f3rteres, um dia ap\u00f3s o an\u00fancio do presidente russo. \"N\u00e3o acredito que vimos nada de concreto como resultado de sua decis\u00e3o. Pelo menos n\u00e3o por enquanto\", acrescentou. O funcion\u00e1rio reconheceu que era \"dif\u00edcil saber o que estava por tr\u00e1s da ordem de Putin\". Mas \"o simples fato de mencionar\" ou \"amea\u00e7ar\" com um \"uso de for\u00e7as nucleares\" \u00e9 \"in\u00fatil e representa uma escalada significativa\" na invas\u00e3o \u00e0 sua vizinha Ucr\u00e2nia, lamentou, reafirmando que a Otan \"nunca\" amea\u00e7ou a R\u00fassia. Leia tamb\u00e9m Por que os Estados Unidos n\u00e3o entram na guerra contra a R\u00fassia? Putin pode apertar o bot\u00e3o nuclear? Veja o que mais voc\u00ea precisa saber sobre a guerra na Ucr\u00e2nia No domingo, Belarus, aliada da R\u00fassia, realizou um referendo que elimina a obriga\u00e7\u00e3o de que a ex-rep\u00fablica sovi\u00e9tica permane\u00e7a uma \"zona livre de armas nucleares\". As pot\u00eancias ocidentais denunciaram essa medida, que acreditam permitir que Moscou transfira armas nucleares para Belarus, outro vizinho da Ucr\u00e2nia e que tamb\u00e9m faz fronteira com v\u00e1rios pa\u00edses da Alian\u00e7a Atl\u00e2ntica. Quando perguntado se movimentos desse tipo foram observados, o funcion\u00e1rio do Pent\u00e1gono respondeu que \"n\u00e3o\". Ele tamb\u00e9m assegurou que, no momento, n\u00e3o h\u00e1 evid\u00eancias de que haja soldados belarussos na Ucr\u00e2nia como refor\u00e7o das for\u00e7as russas. \"At\u00e9 onde sabemos, as for\u00e7as que entraram na Ucr\u00e2nia s\u00e3o todas russas\", disse ele, acrescentando que Moscou levou para o territ\u00f3rio ucraniano \"quase 75%\" das for\u00e7as de combate concentradas na fronteira nos \u00faltimos meses. EUA fecham embaixada em Belarus Os EUA fecharam sua embaixada em Minsk e permitiram que funcion\u00e1rios n\u00e3o emergenciais e familiares deixassem sua embaixada em Moscou nesta segunda-feira, enquanto a R\u00fassia avan\u00e7ava com a invas\u00e3o da Ucr\u00e2nia pelo quinto dia. \"Tomamos essas medidas devido a quest\u00f5es de seguran\u00e7a decorrentes do ataque n\u00e3o provocado e injustificado das for\u00e7as militares russas na Ucr\u00e2nia\", disse o secret\u00e1rio de Estado Antony Blinken.", "example_title": "Not\u00edcia 1"}, {"text": "Por Sam Nussey, da Reuters  O neg\u00f3cio de games da Sony mira novos investimentos para refor\u00e7ar o impulso em PCs e dispositivos m\u00f3veis, disse um executivo s\u00eanior do grupo, \u00e0 medida que a fabricante do PlayStation 5 compete por talentos com rivais endinheirados e em meio ao aumento de transa\u00e7\u00f5es no setor. \u201cMais investimentos em \u00e1reas que fortalecer\u00e3o a expans\u00e3o para PC, dispositivos m\u00f3veis e servi\u00e7os ao vivo, essa \u00e9 definitivamente uma possibilidade para n\u00f3s\u201d, disse Hermen Hulst, chefe da PlayStation Studios, em entrevista \u00e0 Reuters, sem fornecer mais detalhes. Leia Mais A Sony, cujos est\u00fadios s\u00e3o conhecidos por jogos de console \u2018single player\u2019 (para um jogador) como \u201cSpider-Man\u201d e \u201cGod of War\u201d, delineou planos ambiciosos de lan\u00e7ar t\u00edtulos para PC e dispositivos m\u00f3veis e oferecer games de servi\u00e7o ao vivo (\u2018live service games\u2019), que fornecem cont\u00ednua atualiza\u00e7\u00e3o. A mudan\u00e7a radical se reflete em seus recentes movimentos no mercado, incluindo a aquisi\u00e7\u00e3o da Bungie, o est\u00fadio por tr\u00e1s da franquia multijogador \u201cDestiny\u201d, por 3,6 bilh\u00f5es de d\u00f3lares. A Sony opera o est\u00fadio fora de sua rede PlayStation Studios. Outros investimentos incluem a compra de uma participa\u00e7\u00e3o minorit\u00e1ria na desenvolvedora japonesa FromSoftware, cujo jogo de a\u00e7\u00e3o no formato RPG \u201cElden Ring\u201d vendeu mais de 16,6 milh\u00f5es de unidades. A Sony tamb\u00e9m est\u00e1 produzindo um n\u00famero crescente de adapta\u00e7\u00f5es de games, como o filme \u201cUncharted\u201d neste ano, que arrecadou mais de 400 milh\u00f5es de d\u00f3lares em todo o mundo, e uma s\u00e9rie de TV baseada na franquia \u201cThe Last of Us\u201d, de seu est\u00fadio Naughty Dog, que ser\u00e1 lan\u00e7ada na HBO no pr\u00f3ximo ano. Dado o escopo da transforma\u00e7\u00e3o visada pelo neg\u00f3cio de games da Sony, os analistas esperam mais aquisi\u00e7\u00f5es do grupo. \u201cAcho que eles ainda v\u00e3o adicionar est\u00fadios\u201d, disse Serkan Toto, fundador da consultoria Kantan Games. A for\u00e7a da rede de est\u00fadios do PlayStation atraiu elogios como um diferencial importante em rela\u00e7\u00e3o \u00e0 fabricante do Xbox, a Microsoft, que est\u00e1 tentando comprar a Activision Blizzard em uma opera\u00e7\u00e3o de 69 bilh\u00f5es de d\u00f3lares. O chefe de games da Sony, Jim Ryan, chegou a levantar obje\u00e7\u00f5es \u00e0 opera\u00e7\u00e3o diante do potencial impacto do mega-neg\u00f3cio nos usu\u00e1rios do PlayStation. \u201cSe a Sony conseguir replicar o que fez com experi\u00eancias single player, mas (com) experi\u00eancias multijogador em diferentes plataformas, no PC, em consoles e talvez at\u00e9 nos celulares\u201d ser\u00e1 imposs\u00edvel prever o resultado, disse Toto, da Kantan Games, apontando para o sucesso de jogos online como Fortnite, da Epic Games. O impulso da Sony para outras plataformas ocorre enquanto o grupo luta para produzir unidades suficientes do PlayStation 5 devido a problemas na cadeia de suprimentos. Os est\u00fadios internos da Sony tamb\u00e9m est\u00e3o desenvolvendo t\u00edtulos para a pr\u00f3xima gera\u00e7\u00e3o dos \u00f3culos de realidade virtual PlayStation VR2, que devem ser lan\u00e7ados no in\u00edcio do pr\u00f3ximo ano. Enquanto \u201cHorizon Forbidden West\u201d, lan\u00e7ado em fevereiro, \u00e9 \u201cum mundo aberto e isso n\u00e3o \u00e9 necessariamente muito adequado para um jogo PSVR2\u201d, a Sony est\u00e1 projetando t\u00edtulos \u201csob medida\u201d para o sistema, como \u201cHorizon Call of the Mountain\u201d, afirmou Hulst.", "example_title": "Not\u00edcia 2"}], "pipeline_tag": "summarization"}
transformers pytorch t5 text2text-generation pt pt-br summarization abstractive summarization dataset:recogna-nlp/recognasumm license:mit autotrain_compatible endpoints_compatible text-generation-inference region:us