---
widget:
- text: አዲስ አበባ
  example_title: Example 1
- text: በኢንግሊዝ ፕሪምየር ሊግ
  example_title: Example 2
- text: ዶናልድ ትራምፕ
  example_title: Example 3
language:
- am
metrics:
- perplexity
library_name: transformers
pipeline_tag: text-generation
---

# gpt2-medium-amharic-28k-512

This is a smaller version of the [gpt2](https://huggingface.co/openai-community/gpt2) decoder transformer model pretrained from scratch for **2 days** on **290 million tokens** of **Amharic** text. 

- It has **40.2 Million parameters**
- The **context size** of this model is **512** tokens.
- It has the same **tokenizer** as gpt2, trained from scratch using the same Amharic dataset as the model with a vocabulary size of **28k**.
- This is a base model and hasn't undergone any supervised finetuing yet.

It achieves the following results on the evaluation set:

- `Loss: 4.24`
- `Perplexity: 69.4`

### How to use
You can use this model directly with a pipeline for text generation:

```python
from transformers import pipeline

gpt2_am = pipeline(
    "text-generation",
    model="rasyosef/gpt2-medium-amharic-28k-512"
  )

prompt = "በ ኢንግሊዝ ፕሪምየር ሊግ"
gpt2_am(
    prompt,
    max_new_tokens=256,
    temperature=0.4,
    do_sample=True,
    top_k=8,
    top_p=0.8,
    repetition_penalty=1.4
  )
```

Output:
```python
[{'generated_text': 'በ ኢንግሊዝ ፕሪምየር ሊግ የ3ኛ ሳምንት ጨዋታዎች ዛሬ እና ነገ ይካሄዳሉ ።\nየፕሪምየር ሊጉ ከፍተኛ ግብ አስቆጣሪ የሆነው ኤቨርተን ከኒውካስል ዩናይትድ የሚያደርጉትን ጨዋታ በቀጥታ ስርጭት ይመልከቱ።\nከሊቨርፑል ጋር ባደረገው ግጥሚያም አርሰናል በፕሬሚየር ሊጉ ላይ ጎል በማስቆጠር ቀዳሚ ሆኖ አጠናቋል።\nአርሰናል በፕሬሚየር ሊጉ የደረጃ ሰንጠረዡን እየመራ ይገኛል። ሊቨርፑል በፕሬሚየር ሊጉ ሁለተኛ ደረጃ ላይ ከሚገኘው ማንቸስተር ሲቲ ጋር እኩል ነው፤ እንዲሁም ማንቸስተር ሲቲ በፕሬሚየር ሊጉ አራተኛ ደረጃ ላይ የሚገኘው ቸልሲ በፕሬሚየር ሊጉ ሦስተኛ ደረጃ ላይ ይገኛል።\nበእንግሊዝ ፕሬሚየር ሊግ የእግር ኳስ ፍልሚያ ትናንት ማታ ስቶክሆልም ከተማ ውስጥ ዌስትሐምን 3 ለ0 አሸንፏል። ከትናንት በስቲያ ምሽት ኒውካስትል ዩናይትድን 2 ለባዶ ያሸነፈው ማንቸስተር ሲቲ ቅዳሜ ዕለት ዌስትሐም ሆትስፐር ከማንቸስተር ሲቲ ጋር አንድ እኩል ተለያይቷል።\nትናንት ማታ ስቶክሆልን 4 ለ1 በሆነ ሰፊ ውጤት በማሸነፍ በደረጃ ሠንጠረዡ አናት ላይፕትሲሽንን በኹለተኛነት ይከተላል። ማንቸስተር ሲቲ በፕሬሚየር ሊጉ አምስተኛ ደረጃን ይዞ ሲያጠናቅቅ፣ ማንቸስተር ሲቲ በፕሬሚየር ሊጉ ሦስተኛ ደረጃ ይዟል።\nበጀርመን ቡንደስ ሊጋ ባየር ሙይንሽን ሐኖቨርን 5 ለ2 ድል አድርጓል። ቦሩስያ ዶርትሙንድ በፕሬሚየር ሊጉ ሦስተኛ ኾኖ ያጠናቀቀው ሽቱትጋርት በፕሬሚየር ሊጉ ሦስተኛ ደረጃ ላይ ይገኛል'}]
```