---
license: mit
language:
- ru
tags:
  - natural-language-processing
  - poetry-generation
  - text-generation
  - torch
  - lstm
---

This model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on early texts by the Russian poet Boris Pasternak. Models of this type well represent individual poetic style.

Model was trained with size 512 and 3 layers, dropout 0.5.

There are 3 checkpoints of this model presented in the repository. One after 9 epochs with loss 1.3333, the other after 50 epochs with loss 1.1266 and the last after 73 epochs with loss 1.1489. These metrics are in the file name.

## Usage

The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.

```bash
th sample.lua lm_lstm_epoch73.26_1.1489.t7
```

## Train data

Train data is not free due to copyright restrictions.

## What for?

In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.

## Publication

The texts that produced this model were used in [an experiment](https://arxiv.org/abs/2306.02771) to define poetic style.


## Samples

### epoch 50, temperature 0.6

```
Не оно лет. Как на воздух, как всегда И спорить не воздух, как неслышной от каланя Под перегнуть в нервадом ветер подкосновенья,
И это было из ливок.
В засветно и билисточенье,
И скользит на столе заставлять и воздух,
Как в опозденьи глубок, Следаясь в перебережье Белого сказанье полусненный,
И голоженный быль подъезд.
Она — нахимает семи снега самой и свинцовый, Припомнить меж затуманной Небо, как коньковестий как след Ом велите, как приплодный небывали солнце, пыльные область детской веносился И приимет над перекупами в бордом на бург полночей,
Случайно этот поздной Небосклян.
И видит непомой оглика, Подкорно в рассветом, Сонный избегал закатом в болоком.
И не выправнять сердце глаза, и вихрь по полуснином, как от пути поступали, и свист и ворочи, Подносятся водоброманной трети,
Но в стоял колышишек когда-никогда На свисте постилы к спиртом по твоей пороса и гальцев, Близности поток Солнце соловой уже В своему жить бессонной.
Как всегда, не выкатают в подуманьем.
Не во странцем — крушеной ночи глаза И в полусаде, Примерзанье под понять ее терпий.
```


### epoch 73,_temperature 0.5

```
Мой долго на ближе лицом, Не весь весенье, как коропок,
Он валились с ней его мечулись к ноги, как копленный догадок,
И тем под ним приветственный форм под комнат держит свой светильного перепаданный клин Он забот облака Костяшком.
И задувает свой небес месяц подалов,
И случайной ночь и подговорил.
И вот он не проплыла, Спать в таких задолженье по устами Висла расстанут в степи запородившего бездонным лотком Волненьем вздох над корме, Ползнет в барельник.
Слепой устала в воду и полуберевье.
Захлебнувшись в солнце впросьба Волной под стены полузнаю,
И путь просторов и все долг порывать Пожар набит и красным Полудня Волны, шелохнется марганьем Костра.
О страшной небо подымаются в мере И мыслится по полуслепаньи Смотрит в поступам.
И вот и снастя на капель, со мной душей И напоминал и стариков и непометило,
В полях забираются в постолам.
И солнце — свет. Про небо ли исчерпали И пролетов и звезд.
Что простор, и семистальский извозы, как сплошной полдень в городов кормотать и сосенья.
```

### epoch 73,_temperature 0.6

```
Мой души дождь, как конце и кальсе 
Вернутся в лице подборожденье Рождество,
И кто весь воскользин за полудень 
На смерти подбираемых городов,
От прядалой звездочно пропел.
Не жизнь светал он угадал, и объятья 
И городов по ночью в реке, 
Как от колони.
Небо забывающийся в любви 
Подсыпать дорогой завертившего солнца.
Сколько утолько мне, 
Под слезы Париж и твой пролитой подкисы 
На желтом, подобно караванье.
Ты взявшись от стихам в краю 
И непогоду моих и прижель, как сохраннаем в брезженье под конце, 
Без пути под переселенья 
```

## BibTeX entry and citation info

```
@misc{orekhov2023identifying,
      title={Identifying the style by a qualified reader on a short fragment of generated poetry}, 
      author={Boris Orekhov},
      year={2023},
      eprint={2306.02771},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}
```