nevmenandr
commited on
Update README.md
Browse files
README.md
CHANGED
@@ -1,3 +1,66 @@
|
|
1 |
-
---
|
2 |
-
license: mit
|
3 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
license: mit
|
3 |
+
language:
|
4 |
+
- ru
|
5 |
+
tags:
|
6 |
+
- natural-language-processing
|
7 |
+
- text-generation
|
8 |
+
- torch
|
9 |
+
- lstm
|
10 |
+
---
|
11 |
+
|
12 |
+
This generative text model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts by the Russian philosopher Mikhail Bakhtin. Models of this type well represent individual style.
|
13 |
+
|
14 |
+
Model was trained with size 1024 and 3 layers, dropout 0.5.
|
15 |
+
|
16 |
+
There are 2 checkpoints of this model presented in the repository. One after 18 epochs with loss 0.6292, the other after 19 epochs with loss 0.6292. These metrics are in the file name.
|
17 |
+
|
18 |
+
## Usage
|
19 |
+
|
20 |
+
The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.
|
21 |
+
|
22 |
+
```bash
|
23 |
+
th sample.lua lm_lstm_epoch19.14_0.6292.t7
|
24 |
+
```
|
25 |
+
|
26 |
+
## Train data
|
27 |
+
|
28 |
+
Train data is non free due to copyright restrictions. The texts in the training sample were materials from Bakhtin's collected works.
|
29 |
+
|
30 |
+
## What for?
|
31 |
+
|
32 |
+
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as individual style.
|
33 |
+
|
34 |
+
## Publication
|
35 |
+
|
36 |
+
Examples of text generation [have been published in a special journal](http://nevmenandr.net/dkx/pdf/n45-177-184.pdf) devoted to Bakhtin's heritage.
|
37 |
+
|
38 |
+
Орехов, Борис Валерьевич. "Нейронная сеть переписывает М. М. Бахтина." *Диалог. Карнавал. Хронотоп* 1 (2018): 179-184.
|
39 |
+
|
40 |
+
## Samples
|
41 |
+
|
42 |
+
### epoch 19, temperature 0.6
|
43 |
+
|
44 |
+
```
|
45 |
+
Диалогического мира и предложения), и хронотопические факты в телесном плане и своеобразное влияние на небольшой из них он принимает и чисто стилистическая свобода и подчиняется в пределах одного времени ее разнообразия и самосознания и необходимости и внешнего сознания одного и того, что совпадает с другим человеком этого типа. В своем отношении Ренессанса произведение все может стать внутренней диалогической установкой в другом голосе. На протяжении всего этого он дает и понятое в пределах одного контекста поступка и даже в низкой законы и карнавальные стихии издания образов Рабле и Пантагрюэля). В первом проявлении отдельных средств развития романа оказывается стилизованного символа и подчеркивает возможную переплетается с фамильярным миром и смехом и действительным и не завершающим кругозором между эпизодами и именно в нем представляются предметно и сколько на самом деле, который понимает его в монологическом пространстве, и они воспринимались в первой книге. Наиболее определенный и внешнее отношение к границам воспитания его героев и его слова
|
46 |
+
```
|
47 |
+
|
48 |
+
### epoch 19,_temperature 0.2
|
49 |
+
|
50 |
+
```
|
51 |
+
Диалог и др.). Совершенно необходимо отметить, что в нем подчеркнул в последующем подходе к нему подчеркнуты и возможны в процессе полного сознания и понимания в пределах одного произведения и в построении всех доминантов в отношении к нему в нем нет ни в какой бы ни были подлинно отношением к себе самому, не может быть принципиально возможно и не возможно в полном смысле и в образе и в процессе объектного мира. В этом отношении все же объектно переживаются в нем и в сознании в нем не может быть определенным и не может быть возможно и не может быть понято и понято и не может быть изображают и определяет его внешнее значение и возможно и не отвлеченное от него в пределах одного предметного возможного внешнего видения и возможного сознания и не может быть понято пониманием всего прошлого и полного пространства. В процессе образа как бы не возможна и все они не принимают и не отвлеченное от него в нем и не может быть понято и не принципиально не может быть понято и понято и не может быть определено и отношение к нему и в полном смысле и в образе и в образе его внешнего мира, которое он не может быть возможно и полное отношение к нему в нем и в нем не было не может быть принципиально относится к нему и не может быть принципиально не может быть понято и понято и не может быть понято и не отвлеченное от него не может быть отношением к нему и возможно и понятое и не отвлеченное от него в самом поступке и в пределах одного мира в его собственном смысле и в отношении к нему в пределах того же предмета и в пределах одного из одной жизни и не может быть понято в отношении к нему и в нем не может быть возможно и не может быть понято и не возможно в нем не может быть принципиально не может быть принципиально не может быть понято и отвлеченное отношение к нему и в пределах одного объекта и не может быть понято и не отделено от всех сознаний в его объектности и возможность возможного в пределах одного высказывания, в котором они не может быть объектно принимать в нем в нем и в прошлом и не может быть создано совершенно необходимо и не возможно в объективном мире. В пределах одного отношения к миру и в современном пространстве и в нем не может быть принципиально не может быть понято и объективно не может быть понято и не может быть объективно производить на него и не возможно в нем и в нем не может быть объектным и не отвлеченным от него в нем возможное и не предметное и непосредственное и непосредственное влияние на протяжение всего слова и возможно в нем возможно в нем и в пределах одного высказывания и возможно в образах исторического отношения к нему в объективном объекте и в едином и внешнем и непосредственном мире.
|
52 |
+
```
|
53 |
+
|
54 |
+
## BibTeX entry and citation info
|
55 |
+
|
56 |
+
```
|
57 |
+
@article{orekhov2018bakhtinnn,
|
58 |
+
title={Нейронная сеть переписывает М. М. Бахтина},
|
59 |
+
author={Орехов, Борис Валерьевич},
|
60 |
+
journal={Диалог. Карнавал. Хронотоп},
|
61 |
+
volume={1},
|
62 |
+
pages={179--184},
|
63 |
+
year={2018}
|
64 |
+
url={http://nevmenandr.net/dkx/pdf/n45-177-184.pdf}
|
65 |
+
}
|
66 |
+
```
|