RefalMachine commited on
Commit
a2c9281
·
verified ·
1 Parent(s): afccd21

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -1
README.md CHANGED
@@ -16,7 +16,7 @@ base_model:
16
 
17
  WORK IN PROGRESS!!! Текущая версия v1.
18
 
19
- Адаптация модели T-pro-it-1.0 (после процедуры LEP были применены этапы SFT и Preference-tuning). В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation).
20
 
21
  Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью T-pro-it-1.0.
22
 
 
16
 
17
  WORK IN PROGRESS!!! Текущая версия v1.
18
 
19
+ Адаптация модели T-pro-it-1.0 на русский язык. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation).
20
 
21
  Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью T-pro-it-1.0.
22