nevmenandr
commited on
Update README.md
Browse files
README.md
CHANGED
@@ -1,3 +1,117 @@
|
|
1 |
-
---
|
2 |
-
license: mit
|
3 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
license: mit
|
3 |
+
language:
|
4 |
+
- ru
|
5 |
+
tags:
|
6 |
+
- natural-language-processing,
|
7 |
+
- poetry-generation
|
8 |
+
- torch
|
9 |
+
- lstm
|
10 |
+
---
|
11 |
+
|
12 |
+
This model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts by the Russian poet Osip Mandelstam. Models of this type well represent individual poetic style.
|
13 |
+
|
14 |
+
Model was trained with size 512 and 7 layers, dropout 0.5.
|
15 |
+
|
16 |
+
There are 2 checkpoints of this model presented in the repository. One after 28 epochs with loss 1.0705, the other after 50 epochs with loss 1.1207. These metrics are in the file name.
|
17 |
+
|
18 |
+
## Usage
|
19 |
+
|
20 |
+
The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.
|
21 |
+
|
22 |
+
```bash
|
23 |
+
th sample.lua lm_lstm_epoch50.00_1.1207.t7
|
24 |
+
```
|
25 |
+
|
26 |
+
## Train data
|
27 |
+
|
28 |
+
Train data is free and inclded in this repository as `input.txt` file.
|
29 |
+
|
30 |
+
## What for?
|
31 |
+
|
32 |
+
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.
|
33 |
+
|
34 |
+
## Publication
|
35 |
+
|
36 |
+
The texts that produced this model were used in [an experiment](https://arxiv.org/abs/2306.02771) to define poetic style.
|
37 |
+
|
38 |
+
|
39 |
+
## Samples
|
40 |
+
|
41 |
+
### epoch 28.4, loss 1.0705, temperature 0.3
|
42 |
+
|
43 |
+
```
|
44 |
+
Слитко мне поднял в нем,
|
45 |
+
И в легкий день подобились в облака
|
46 |
+
И не запахнут в долгом оберений подводка.
|
47 |
+
|
48 |
+
И поднимал в дома и поднимали,
|
49 |
+
И в крепкой просторной каменный подражник
|
50 |
+
В нас над небесах и в полной белой колесе
|
51 |
+
И переставил колоколенной города.
|
52 |
+
|
53 |
+
И в подвождей светлой городов подвитает
|
54 |
+
И воздух воздуха не полупростить
|
55 |
+
И как поднимал и воды пробежала,
|
56 |
+
И весь на полночной домой.
|
57 |
+
```
|
58 |
+
|
59 |
+
### epoch 28.4,_loss 1.0705,_temperature 0.6
|
60 |
+
|
61 |
+
```
|
62 |
+
Поднять в еденный воздух над город.
|
63 |
+
|
64 |
+
И потремен от крепкой закони,
|
65 |
+
Как в небе меня мое осенницы,
|
66 |
+
И дон на мелькает подворонного кого,
|
67 |
+
И задыхаешь мы удалой
|
68 |
+
И светло передуха себя,
|
69 |
+
И соломинка могла из моряю
|
70 |
+
Не замечательно ложить,
|
71 |
+
В себя над ожерады и коленей.
|
72 |
+
```
|
73 |
+
|
74 |
+
### epoch 50.0,_loss 1.1207,_temperature 0.5
|
75 |
+
|
76 |
+
```
|
77 |
+
И в небе невой подорогах запорова,
|
78 |
+
Прополнить без тебе не волна,
|
79 |
+
Как же бесконечного морщинах,
|
80 |
+
И слабой солнце полноводная стекла.
|
81 |
+
|
82 |
+
Не ужасные пламенное слово
|
83 |
+
Слово в советском судия звездами крепкой нам он в муревях облаков,
|
84 |
+
Сказал твой бедного замереть --
|
85 |
+
И не видно морской неловко!
|
86 |
+
```
|
87 |
+
|
88 |
+
### epoch 50.0,_loss 1.1207,_temperature 0.7
|
89 |
+
|
90 |
+
```
|
91 |
+
Как в избежал созданий вин.
|
92 |
+
|
93 |
+
В столках небесах от зазнаванья намеженье.
|
94 |
+
А в бах колесо в извратной сиянье,
|
95 |
+
Но не слушают горький песок,
|
96 |
+
Единый под куполом громом,
|
97 |
+
И под бесполесной полубежают запым.
|
98 |
+
На мире не мог быстро музыки,
|
99 |
+
Любовью высокой двойней,
|
100 |
+
Когда б моей сердце, ни слазах полноводная видать.
|
101 |
+
Все царственный там -- ее не выпалы
|
102 |
+
И пророческой крестьянские простороном,
|
103 |
+
И клена мечта на кротких глаз.
|
104 |
+
```
|
105 |
+
|
106 |
+
## BibTeX entry and citation info
|
107 |
+
|
108 |
+
```
|
109 |
+
@misc{orekhov2023identifying,
|
110 |
+
title={Identifying the style by a qualified reader on a short fragment of generated poetry},
|
111 |
+
author={Boris Orekhov},
|
112 |
+
year={2023},
|
113 |
+
eprint={2306.02771},
|
114 |
+
archivePrefix={arXiv},
|
115 |
+
primaryClass={cs.CL}
|
116 |
+
}
|
117 |
+
```
|