Update README.md
Browse files
README.md
CHANGED
|
@@ -21,11 +21,13 @@ tokens selected from the [SpeakLeash](https://speakleash.org/) dataset.
|
|
| 21 |
This is, to our knowledge, the first open-weights MoE model fine-tuned on Polish data.
|
| 22 |
In order to preserve English capabilities, we include about 600M tokens from the [RedPajama dataset](https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T).
|
| 23 |
|
| 24 |
-
The training was made possible thanks to TPU Research Cloud program. The model was trained on a TPUv3-256.
|
| 25 |
|
| 26 |
Our codebase is based on [the Focused Transformer repo](https://github.com/CStanKonrad/long_llama) and [EasyLM](https://github.com/young-geng/EasyLM).
|
| 27 |
|
| 28 |
-
## Example
|
|
|
|
|
|
|
| 29 |
|
| 30 |
**Poni偶szy artyku艂 opisuje histori臋 Polski. Polska to kraj, kt贸ry** w ci膮gu wiek贸w by艂 艣wiadkiem wielu
|
| 31 |
wa偶nych wydarze艅, kt贸re mia艂y wp艂yw na jej rozw贸j. W artykule przedstawiono najwa偶niejsze
|
|
@@ -33,6 +35,18 @@ wydarzenia z historii Polski, od czas贸w staro偶ytnych do wsp贸艂czesno艣ci. His
|
|
| 33 |
kt贸ry ma d艂ug膮 i bogat膮 histori臋. Pierwsze wzmianki o Polsce pochodz膮 z czas贸w staro偶ytnych. W 966 roku Mieszko I
|
| 34 |
przyj膮艂 chrzest, co zapocz膮tkowa艂o proces ...
|
| 35 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 36 |
## Model Card Contact
|
| 37 |
|
| 38 |
maciej.pioro at ideas-ncbr.pl
|
|
|
|
| 21 |
This is, to our knowledge, the first open-weights MoE model fine-tuned on Polish data.
|
| 22 |
In order to preserve English capabilities, we include about 600M tokens from the [RedPajama dataset](https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T).
|
| 23 |
|
| 24 |
+
The training was made possible thanks to the [TPU Research Cloud](https://sites.research.google/trc/about/) program. The model was trained on a TPUv3-256.
|
| 25 |
|
| 26 |
Our codebase is based on [the Focused Transformer repo](https://github.com/CStanKonrad/long_llama) and [EasyLM](https://github.com/young-geng/EasyLM).
|
| 27 |
|
| 28 |
+
## Example outputs
|
| 29 |
+
|
| 30 |
+
(prompts are in bold)
|
| 31 |
|
| 32 |
**Poni偶szy artyku艂 opisuje histori臋 Polski. Polska to kraj, kt贸ry** w ci膮gu wiek贸w by艂 艣wiadkiem wielu
|
| 33 |
wa偶nych wydarze艅, kt贸re mia艂y wp艂yw na jej rozw贸j. W artykule przedstawiono najwa偶niejsze
|
|
|
|
| 35 |
kt贸ry ma d艂ug膮 i bogat膮 histori臋. Pierwsze wzmianki o Polsce pochodz膮 z czas贸w staro偶ytnych. W 966 roku Mieszko I
|
| 36 |
przyj膮艂 chrzest, co zapocz膮tkowa艂o proces ...
|
| 37 |
|
| 38 |
+
**Warszawa to stolica Polski. W najludniejszym mie艣cie kraju mo偶na zwiedzi膰 m.in.** Muzeum Powstania Warszawskiego, Muzeum Narodowe, Muzeum Fryderyka Chopina,
|
| 39 |
+
Muzeum Historii Polski, Muzeum Wojska Polskiego, Muzeum Pa艂acu Kr贸la Jana III w Wilanowie, Muzeum POLIN, Muzeum Niepodleg艂o艣ci,
|
| 40 |
+
Muzeum Katy艅skie, Muzeum Wojska Polskiego, Muzeum Powstania Warszawskiego, Muzeum Fryderyka Chopina, Muzeum Narodowe ...
|
| 41 |
+
|
| 42 |
+
**Najstarsze historyczne wzmianki o zamku w Bojnicach pochodz膮 z** 1241 roku. W 1245 roku kr贸l w臋gierski Bela IV nada艂 go w lenno biskupowi o艂omunieckiemu.
|
| 43 |
+
W 1271 roku kr贸l w臋gierski Stefan V nada艂 go w lenno biskupowi o艂omunieckiemu. W 1302 roku kr贸l w臋gierski Karol Martell nada艂 go w lenno biskupowi o艂omunieckiemu.
|
| 44 |
+
W 1304 roku kr贸l w臋gierski Karol Martell nada艂 go w lenno biskupowi o艂omunieckiem
|
| 45 |
+
|
| 46 |
+
**S艂owacja to pa艅stwo po艂o偶one w Europie 艢rodkowej,** kt贸re graniczy z Polsk膮, Czechami, Ukrain膮, W臋grami, Austri膮 i Rumuni膮. S艂owacja jest pa艅stwem 艣rednio roz-
|
| 47 |
+
wini臋tym, kt贸re w 2013 roku liczy艂o 5,4 mln mieszka艅c贸w i zajmowa艂o powierzchni臋 49 035 km2. Stolic膮 pa艅stwa jest Bratys艂awa, kt贸ra jest jednocze艣nie najwi臋kszym miastem
|
| 48 |
+
w kraju.
|
| 49 |
+
|
| 50 |
## Model Card Contact
|
| 51 |
|
| 52 |
maciej.pioro at ideas-ncbr.pl
|