data/lang_bpe_250/tokens.txt

<blk> 0
<sos/eos> 1
<unk> 2
▁ 3
в 4
н 5
ти 6
т 7
й 8
е 9
с 10
м 11
▁на 12
к 13
р 14
у 15
д 16
▁з 17
▁с 18
о 19
▁в 20
▁по 21
х 22
ли 23
ва 24
но 25
ро 26
я 27
і 28
ні 29
з 30
а 31
и 32
ю 33
ра 34
ка 35
▁за 36
▁не 37
є 38
▁і 39
ла 40
▁що 41
на 42
ки 43
▁до 44
ї 45
ш 46
ж 47
ві 48
ч 49
во 50
сь 51
ко 52
ни 53
ло 54
ри 55
лі 56
ль 57
ви 58
да 59
▁у 60
б 61
ку 62
▁про 63
ці 64
▁ви 65
▁а 66
▁це 67
ди 68
▁о 69
то 70
рі 71
п 72
ся 73
мо 74
ми 75
ть 76
ма 77
ц 78
г 79
ну 80
▁як 81
▁я 82
ого 83
▁від 84
ре 85
▁та 86
ме 87
та 88
▁п 89
ті 90
ле 91
те 92
ру 93
чи 94
га 95
▁ко 96
ст 97
ту 98
кі 99
по 100
▁ма 101
' 102
▁ми 103
ді 104
▁так 105
сі 106
мі 107
бу 108
ля 109
▁мі 110
не 111
▁при 112
ння 113
▁мо 114
же 115
ду 116
щ 117
ча 118
▁де 119
до 120
ому 121
▁г 122
▁к 123
нь 124
би 125
сто 126
▁д 127
бі 128
▁го 129
ь 130
▁то 131
▁те 132
лю 133
ють 134
че 135
го 136
де 137
бо 138
си 139
за 140
ер 141
них 142
▁але 143
ста 144
▁роз 145
хо 146
пи 147
пі 148
▁він 149
ний 150
му 151
▁для 152
пе 153
ф 154
ши 155
▁б 156
▁ш 157
л 158
▁україн 159
▁під 160
▁пере 161
▁од 162
ше 163
ня 164
со 165
па 166
жи 167
▁па 168
▁ба 169
▁ка 170
▁зна 171
ять 172
▁ф 173
рів 174
▁час 175
▁ре 176
ного 177
▁ста 178
лу 179
▁його 180
▁ні 181
▁тому 182
ба 183
▁сам 184
▁буде 185
сті 186
ця 187
▁вони 188
▁дуже 189
▁пра 190
ха 191
▁нас 192
▁хо 193
ться 194
ість 195
▁со 196
▁чи 197
▁ді 198
▁коли 199
жу 200
▁об 201
▁бо 202
чу 203
▁які 204
вер 205
▁якщо 206
▁три 207
▁вже 208
чі 209
жа 210
▁все 211
▁було 212
▁може 213
▁буд 214
▁вона 215
▁два 216
гу 217
▁тут 218
гі 219
увати 220
ення 221
▁роб 222
▁зараз 223
▁того 224
▁більш 225
▁тисяч 226
▁один 227
▁перш 228
▁можна 229
▁люди 230
▁цього 231
▁їх 232
▁село 233
▁мене 234
▁раз 235
▁двадцять 236
▁треба 237
аємо 238
▁навіть 239
▁рад 240
▁був 241
▁сьогодні 242
▁без 243
▁тільки 244
▁провулок 245
▁сім 246
ається 247
▁свої 248
ґ 249
#0 250
#1 251