---
tags:
- text-generation-inference
- transformers
- unsloth
- mistral
- trl
- orpo
license: apache-2.0
language:
- ru
datasets:
- 0x7o/poemma-10k
---

>Жить бы и радоваться,
>
>Не по себе, —
>
>Творческий кризис,
>
>Что это такое?
>
>Я не поэт,
>
>Я интеллектуальный автомат.

# Poemma 12B

Language model, fine tuning over Mistral Nemo using ORPO to generate poems in Russian with imitation of the style of some classics.

## Usage

A model can write poetry from scratch, or imitate the style of the following authors:
```
'Марина Цветаева', 'Александр Пушкин', 'Александр Блок',
'Анна Ахматова', 'Владимир Высоцкий', 'Иосиф Бродский',
'Константин Бальмонт', 'Владимир Маяковский', 'Николай Гумилев',
'Федор Тютчев', 'Сергей Есенин', 'Игорь Северянин', 'Осип Мандельштам',
'Агния Барто', 'Евгений Евтушенко', 'Роберт Рождественский',
'Иван Бунин', 'Андрей Дементьев', 'Самуил Маршак'
```

```python
from transformers import pipeline

messages = [
    {"role": "user", "content": "Напиши стих о размышлениях нейронной сети в стиле Пушкина. Используй высокую лексику."},
]
pipe = pipeline("text-generation", model="0x7o/poemma-12B")
pipe(messages)
```

## Dataset

https://huggingface.co/datasets/0x7o/poemma-10k

## Author

https://t.me/kononyuk