Update README.md

README.md

@@ -40,16 +40,29 @@ pip install git+https://github.com/Koziev/character-tokenizer
 
 Кроме символов кириллицы и пунктуации, этот токенизатор знает про специальные токены ```<s>```, ```</s>```, ```<pad>``` и ```<unk>```.
 
-Так как это нестандартный для transformers токенизатор, его надо загружать не через ```transformers.AutoTokenizer.from_pretrained```, а таким кодом:
+Так как это нестандартный для transformers токенизатор, его надо загружать не через ```transformers.AutoTokenizer.from_pretrained```, а примерно так:
 
 ```
 import charactertokenizer
 
 ...
-
 tokenizer = charactertokenizer.CharacterTokenizer.from_pretrained('inkoziev/charllama-35M')
 ```
 
+Чтобы посмотреть на токенизацию, можно использовать такой фрагмент кода:
+
+```
+prompt = '<s>У Лукоморья дуб зеленый\n'
+encoded_prompt = tokenizer.encode(prompt, return_tensors='pt')
+print('Tokenized prompt:', ' | '.join(tokenizer.decode([t]) for t in encoded_prompt[0]))
+```
+
+Вы увидите список токенов, разделенных символом ```|```:
+
+```
+Tokenized prompt: <s> | У |   | Л | у | к | о | м | о | р | ь | я |   | д | у | б |   | з | е | л | е | н | ы | й | 
+```
+
 ### Использование
 
 С библиотекой transformerts модель можно использовать штатным способом как обычную GPT'шку:
@@ -93,4 +106,4 @@ for o in output_sequences:
     print('-'*80)
 ```
 
-Также, будут работать все прочие инструменты для GPT моделей, например transformers.GPT2ForSequenceClassification.
+Также, будут работать все прочие инструменты для GPT моделей, например transformers.AutoModelForSequenceClassification.