stress_bert / tokenizer.json
abletobetable's picture
Training in progress, step 400
0308fdc
raw
history blame
16.1 kB
{
"version": "1.0",
"truncation": null,
"padding": null,
"added_tokens": [
{
"id": 0,
"content": "[PAD]",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
}
],
"normalizer": null,
"pre_tokenizer": null,
"post_processor": null,
"decoder": null,
"model": {
"type": "Unigram",
"unk_id": null,
"vocab": [
[
"[PAD]",
0.0
],
[
"е",
-3.1636796363706203
],
[
"с",
-3.359173210921522
],
[
"м",
-3.4767311793904128
],
[
"в",
-3.6053862526055447
],
[
"и",
-3.6510660137914854
],
[
"о",
-3.7152455221804175
],
[
"л",
-3.8174792636171873
],
[
"а",
-3.9030196208874592
],
[
"т",
-3.919992837958791
],
[
"у",
-3.9304056679642887
],
[
"й",
-4.05418950185703
],
[
"к",
-4.102994397537685
],
[
"х",
-4.103691610663569
],
[
"р",
-4.163663784247136
],
[
"я",
-4.18517039517814
],
[
"д",
-4.293637726858796
],
[
"по",
-4.318874404725777
],
[
"н",
-4.319659895767661
],
[
"ра",
-4.326548476322547
],
[
"ли",
-4.463338075253289
],
[
"на",
-4.548396485176257
],
[
"ка",
-4.557609822166179
],
[
"г",
-4.578202766924267
],
[
"п",
-4.5948832974278995
],
[
"ла",
-4.622429724624767
],
[
"з",
-4.668711901804957
],
[
"за",
-4.679470001112353
],
[
"ж",
-4.692888448272974
],
[
"ны",
-4.717019931310672
],
[
"ни",
-4.717178138341595
],
[
"б",
-4.724329749814947
],
[
"ре",
-4.817940624969843
],
[
"ся",
-4.837228337071683
],
[
"не",
-4.847884203151359
],
[
"ч",
-4.8875128612907455
],
[
"ро",
-4.926997101838515
],
[
"ло",
-4.974133703658512
],
[
"та",
-5.037108135230574
],
[
"ми",
-5.050561901133188
],
[
"вы",
-5.066939597672465
],
[
"ю",
-5.0733887719846615
],
[
"ва",
-5.113926274278541
],
[
"ш",
-5.117244871533596
],
[
"ки",
-5.119883285875997
],
[
"но",
-5.122834314800923
],
[
"ль",
-5.140078050336989
],
[
"во",
-5.172027764098102
],
[
"ет",
-5.177442189854449
],
[
"про",
-5.180757178756543
],
[
"до",
-5.195432996961147
],
[
"го",
-5.202898545471496
],
[
"ы",
-5.220288580282363
],
[
"те",
-5.223318808225296
],
[
"да",
-5.258319969867449
],
[
"сь",
-5.296768127931534
],
[
"при",
-5.300719847408468
],
[
"ст",
-5.312071600207284
],
[
"об",
-5.321440340809567
],
[
"ри",
-5.351944024735441
],
[
"ру",
-5.382717583024741
],
[
"де",
-5.42335709376504
],
[
"ти",
-5.430152754589945
],
[
"от",
-5.452013842602508
],
[
"па",
-5.461349448256417
],
[
"ди",
-5.462112441879387
],
[
"со",
-5.47073375693526
],
[
"ку",
-5.4745889291199274
],
[
"ко",
-5.504473412608788
],
[
"то",
-5.504860293985376
],
[
"га",
-5.682461175015035
],
[
"бо",
-5.702286932153875
],
[
"ля",
-5.707186880493859
],
[
"чи",
-5.726149608807444
],
[
"ры",
-5.7581398104776715
],
[
"ь",
-5.769722615320581
],
[
"раз",
-5.777657793853896
],
[
"ин",
-5.783559540075619
],
[
"ной",
-5.7929381147642065
],
[
"ен",
-5.810652857528928
],
[
"под",
-5.843061465852916
],
[
"ан",
-5.865100339367238
],
[
"пи",
-5.879046574282177
],
[
"ар",
-5.893862057404114
],
[
"ть",
-5.897306442912067
],
[
"ф",
-5.902229127271682
],
[
"жи",
-5.925370546484607
],
[
"ци",
-5.928100752513754
],
[
"че",
-5.945348977901575
],
[
"ты",
-5.972166760117742
],
[
"ба",
-5.977038105260874
],
[
"вер",
-5.983428566220837
],
[
"ная",
-5.990849208890614
],
[
"ча",
-6.013202406107329
],
[
"пе",
-6.032341480893762
],
[
"са",
-6.034450309096376
],
[
"ем",
-6.037807542535035
],
[
"ще",
-6.038370941834772
],
[
"ше",
-6.062354644467771
],
[
"из",
-6.0662889525004005
],
[
"ств",
-6.069384268201753
],
[
"ного",
-6.082294432517265
],
[
"ско",
-6.082319149708081
],
[
"э",
-6.100856930219239
],
[
"ком",
-6.103344547667658
],
[
"ски",
-6.1068794661162125
],
[
"ё",
-6.119189253137699
],
[
"ов",
-6.137817559051781
],
[
"би",
-6.178944074692679
],
[
"ста",
-6.185855399748316
],
[
"пу",
-6.204423533569658
],
[
"ков",
-6.213633369881911
],
[
"рас",
-6.215736329120726
],
[
"пере",
-6.217680605082461
],
[
"ши",
-6.237591353842036
],
[
"ить",
-6.252525660416677
],
[
"ну",
-6.263488690915469
],
[
"ду",
-6.272614811909408
],
[
"це",
-6.290245699117212
],
[
"сто",
-6.298801808923643
],
[
"енны",
-6.302090293473124
],
[
"ц",
-6.308440789473085
],
[
"сти",
-6.334320371974208
],
[
"же",
-6.335635473316215
],
[
"ал",
-6.358520860862264
],
[
"му",
-6.364234522588495
],
[
"ров",
-6.383232073647166
],
[
"кон",
-6.390409708582491
],
[
"нов",
-6.403321122273851
],
[
"ном",
-6.404496872419566
],
[
"мен",
-6.4064413418034265
],
[
"су",
-6.409942213032797
],
[
"ги",
-6.410630152721253
],
[
"ное",
-6.420773351327056
],
[
"ск",
-6.445759163556911
],
[
"тор",
-6.446487040563173
],
[
"щи",
-6.44829973786927
],
[
"тер",
-6.46119939486005
],
[
"ке",
-6.476807169306808
],
[
"пред",
-6.480919764600885
],
[
"ту",
-6.51078072140959
],
[
"ша",
-6.516865779803864
],
[
"бу",
-6.527673142443851
],
[
"ения",
-6.538926614200793
],
[
"ную",
-6.552064033974947
],
[
"пре",
-6.553167434011977
],
[
"вал",
-6.557256564987665
],
[
"ом",
-6.568516369824362
],
[
"ать",
-6.576879449964455
],
[
"кой",
-6.586751821830786
],
[
"ным",
-6.59444236346413
],
[
"ей",
-6.599767946641588
],
[
"ил",
-6.62139500267716
],
[
"лю",
-6.623376951115419
],
[
"ня",
-6.6306206476008995
],
[
"фи",
-6.631450294454992
],
[
"щ",
-6.652009873573957
],
[
"лен",
-6.671904516820077
],
[
"ой",
-6.698990150040521
],
[
"ение",
-6.701814987349791
],
[
"тра",
-6.73501512479902
],
[
"ник",
-6.7420250834690965
],
[
"зна",
-6.762833698209765
],
[
"нны",
-6.763688359226229
],
[
"став",
-6.777063140328193
],
[
"ают",
-6.781120088269675
],
[
"ща",
-6.801003632576518
],
[
"нул",
-6.833802047509305
],
[
"ят",
-6.835997636374822
],
[
"ца",
-6.841362171180944
],
[
"вать",
-6.845472275365411
],
[
"гу",
-6.855305485842229
],
[
"тель",
-6.865088978982657
],
[
"дер",
-6.869778946510176
],
[
"ую",
-6.8832869290382055
],
[
"зы",
-6.887226954371981
],
[
"ют",
-6.901154517295787
],
[
"ого",
-6.909640881743588
],
[
"ды",
-6.9173006816290155
],
[
"вали",
-6.9235986241477425
],
[
"воз",
-6.924974892692157
],
[
"сту",
-6.938330038589573
],
[
"вши",
-6.944084484532091
],
[
"мер",
-6.949151102970281
],
[
"стр",
-6.96429947532023
],
[
"вед",
-6.973302237822137
],
[
"вод",
-7.0079649322914825
],
[
"ская",
-7.012072077773152
],
[
"лов",
-7.017291086492113
],
[
"зи",
-7.018282598482377
],
[
"мат",
-7.032293879761621
],
[
"сы",
-7.045030730480992
],
[
"вает",
-7.061487717557234
],
[
"фе",
-7.061960024820606
],
[
"ность",
-7.062069414670495
],
[
"альны",
-7.0660079813306345
],
[
"тельны",
-7.070899992884047
],
[
"ически",
-7.074910446308693
],
[
"кор",
-7.077010664573005
],
[
"стро",
-7.082808344718582
],
[
"бы",
-7.089034041901167
],
[
"енно",
-7.092846340929076
],
[
"ально",
-7.10679840132555
],
[
"жен",
-7.115828365681051
],
[
"пер",
-7.14065227425605
],
[
"нь",
-7.146275463065723
],
[
"ство",
-7.191344050847166
],
[
"лени",
-7.192798006712747
],
[
"ками",
-7.223665578070644
],
[
"сер",
-7.273427212354391
],
[
"ция",
-7.309302043202202
],
[
"пы",
-7.311239771943473
],
[
"ическ",
-7.362626913781078
],
[
"ман",
-7.372506880655845
],
[
"цы",
-7.380877909236978
],
[
"лось",
-7.388421354263928
],
[
"фа",
-7.396928557939997
],
[
"полн",
-7.404319309649214
],
[
"бес",
-7.4114860814725665
],
[
"ания",
-7.424202557681505
],
[
"бер",
-7.440982773293651
],
[
"итель",
-7.461792961820363
],
[
"вес",
-7.467919044018323
],
[
"мол",
-7.473308124014182
],
[
"ант",
-7.478987381298589
],
[
"фор",
-7.484167266702338
],
[
"ключ",
-7.498912525005472
],
[
"ности",
-7.505175854659576
],
[
"ешь",
-7.508768160872986
],
[
"авто",
-7.538910090995358
],
[
"теле",
-7.540809540515368
],
[
"тур",
-7.541974194216193
],
[
"без",
-7.575807709091023
],
[
"вид",
-7.58781483111255
],
[
"пле",
-7.603493590785373
],
[
"клад",
-7.615845269944964
],
[
"нуть",
-7.641275309552205
],
[
"ость",
-7.646320761168189
],
[
"ание",
-7.662126846510481
],
[
"очны",
-7.664907785029916
],
[
"луч",
-7.718489513949259
],
[
"олог",
-7.732846447649657
],
[
"ительно",
-7.745348765681442
],
[
"вел",
-7.818080089048806
],
[
"твор",
-7.8208575242033165
],
[
"ющих",
-7.8747498410196
],
[
"ичны",
-7.924801361025127
],
[
"плат",
-7.960841164508131
],
[
"ировать",
-7.963776371734233
],
[
"благо",
-7.98839112202585
],
[
"ющий",
-8.02454317720849
],
[
"сход",
-8.135419072857303
],
[
"смотр",
-8.14697766082976
],
[
"следова",
-8.638979587708416
],
[
"электро",
-8.73535669065444
],
[
"ъ",
-9.09744307828603
]
]
}
}