dsrestrepo commited on
Commit
2ac3d31
·
1 Parent(s): 324ac31

Upload tokenizer

Browse files
Files changed (4) hide show
  1. added_tokens.json +3 -0
  2. special_tokens_map.json +37 -0
  3. tokenizer_config.json +57 -0
  4. vocab.txt +623 -0
added_tokens.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ {
2
+ "[UNK]": 623
3
+ }
special_tokens_map.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": {
3
+ "content": "[CLS]",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "mask_token": {
10
+ "content": "[MASK]",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "pad_token": {
17
+ "content": "[PAD]",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "sep_token": {
24
+ "content": "[SEP]",
25
+ "lstrip": false,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "unk_token": {
31
+ "content": "[UNK]",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ }
37
+ }
tokenizer_config.json ADDED
@@ -0,0 +1,57 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "[PAD]",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "101": {
12
+ "content": "[CLS]",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "102": {
20
+ "content": "[SEP]",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "103": {
28
+ "content": "[MASK]",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "623": {
36
+ "content": "[UNK]",
37
+ "lstrip": false,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ }
43
+ },
44
+ "clean_up_tokenization_spaces": true,
45
+ "cls_token": "[CLS]",
46
+ "do_basic_tokenize": true,
47
+ "do_lower_case": false,
48
+ "mask_token": "[MASK]",
49
+ "model_max_length": 1000000000000000019884624838656,
50
+ "never_split": null,
51
+ "pad_token": "[PAD]",
52
+ "sep_token": "[SEP]",
53
+ "strip_accents": null,
54
+ "tokenize_chinese_chars": true,
55
+ "tokenizer_class": "BertTokenizer",
56
+ "unk_token": "[UNK]"
57
+ }
vocab.txt ADDED
@@ -0,0 +1,623 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [PAD]
2
+ BicBB
3
+ CrtA
4
+ PotZ
5
+ SodBI
6
+ UreI
7
+ HgbBG
8
+ PltC
9
+ WbcA
10
+ BicAU
11
+ PotAF
12
+ SodAY
13
+ UreK
14
+ HgbBF
15
+ PltF
16
+ BicAW
17
+ CrtB
18
+ PotAP
19
+ UreN
20
+ HgbBD
21
+ BicAS
22
+ PotAH
23
+ SodAV
24
+ HgbBB
25
+ PltE
26
+ PotAE
27
+ SodBC
28
+ UreJ
29
+ HgbBC
30
+ PltD
31
+ PotV
32
+ SodBG
33
+ UreD
34
+ HgbBJ
35
+ PltL
36
+ BicAQ
37
+ PotW
38
+ HgbBM
39
+ PltM
40
+ SodBL
41
+ HgbBH
42
+ BicAO
43
+ CrtC
44
+ PotS
45
+ SodBN
46
+ UreC
47
+ HgbBQ
48
+ PltK
49
+ PotX
50
+ SodBR
51
+ PltI
52
+ WbcB
53
+ PotY
54
+ SodBO
55
+ HgbBI
56
+ PltH
57
+ BicAZ
58
+ PotT
59
+ SodBJ
60
+ PltG
61
+ BicAM
62
+ CrtD
63
+ UreL
64
+ HgbBN
65
+ CrtE
66
+ PotU
67
+ HgbBE
68
+ BicBF
69
+ SodBE
70
+ UreB
71
+ SodBB
72
+ PltJ
73
+ SodBF
74
+ HgbBA
75
+ HgbAX
76
+ PltT
77
+ WbcC
78
+ SodAX
79
+ PltR
80
+ PotAI
81
+ PltP
82
+ BicBL
83
+ HgbAV
84
+ HgbAS
85
+ HgbAT
86
+ HgbBK
87
+ HgbAO
88
+ PltY
89
+ PotK
90
+ HgbAK
91
+ PotP
92
+ HgbAN
93
+ PltQ
94
+ HgbAM
95
+ SodBK
96
+ HgbAL
97
+ PltS
98
+ PotQ
99
+ PotN
100
+ PotR
101
+ HgbAJ
102
+ [CLS]
103
+ [SEP]
104
+ [MASK]
105
+ BicAK
106
+ PotO
107
+ PltO
108
+ PltN
109
+ PltW
110
+ SodBQ
111
+ SodBM
112
+ HgbAZ
113
+ BicAI
114
+ CrtG
115
+ UreP
116
+ SodBS
117
+ UreR
118
+ CrtF
119
+ HgbAQ
120
+ UreM
121
+ UreAF
122
+ SodBT
123
+ UreAH
124
+ UreAB
125
+ SodBP
126
+ UreZ
127
+ BicAG
128
+ UreU
129
+ HgbAI
130
+ UreQ
131
+ HgbAH
132
+ PotAB
133
+ UreO
134
+ HgbAP
135
+ HgbAU
136
+ BicBD
137
+ UreG
138
+ UreF
139
+ HgbAW
140
+ PltAA
141
+ SodBH
142
+ UreE
143
+ PltV
144
+ PltU
145
+ PotAA
146
+ HgbAG
147
+ HgbAY
148
+ HgbBO
149
+ BicBJ
150
+ BicBP
151
+ HgbBL
152
+ UreH
153
+ BicBH
154
+ HgbAR
155
+ PotM
156
+ BicBT
157
+ PotAD
158
+ SodBA
159
+ UreS
160
+ PotAC
161
+ BicBR
162
+ BicBX
163
+ CrtH
164
+ UreT
165
+ WbcD
166
+ PotAL
167
+ PltAB
168
+ PltX
169
+ WbcE
170
+ SodBU
171
+ BicS
172
+ PltA
173
+ HgbAF
174
+ SodBD
175
+ HgbZ
176
+ PotL
177
+ UreAG
178
+ UreX
179
+ UreV
180
+ SodBY
181
+ BicBN
182
+ CrtJ
183
+ SodBV
184
+ CrtI
185
+ SodAW
186
+ SodAZ
187
+ PltB
188
+ HgbBR
189
+ UreW
190
+ UreAK
191
+ PotAG
192
+ HgbAE
193
+ BicU
194
+ SodBW
195
+ BicAE
196
+ PotAJ
197
+ BicAA
198
+ HgbBP
199
+ UreAI
200
+ CrtL
201
+ UreBS
202
+ UreBB
203
+ BicQ
204
+ UreAC
205
+ HgbAD
206
+ CrtK
207
+ BicAC
208
+ UreY
209
+ PotAK
210
+ PotAR
211
+ UreAM
212
+ PltZ
213
+ PotBK
214
+ CrtU
215
+ CrtN
216
+ CrtS
217
+ PotAM
218
+ PltAG
219
+ PltAJ
220
+ PltAM
221
+ HgbBS
222
+ CrtM
223
+ BicW
224
+ UreAA
225
+ UreAE
226
+ UreAO
227
+ UreAT
228
+ UreAW
229
+ UreA
230
+ PotAN
231
+ PotAO
232
+ BicBV
233
+ PltAF
234
+ SodCB
235
+ SodCA
236
+ BicBZ
237
+ UreAD
238
+ PotAT
239
+ UreAJ
240
+ UreAL
241
+ CrtAE
242
+ CrtX
243
+ CrtR
244
+ CrtP
245
+ CrtO
246
+ WbcH
247
+ WbcF
248
+ SodAU
249
+ HgbBT
250
+ CrtAB
251
+ CrtAD
252
+ UreAQ
253
+ HgbAC
254
+ PltAD
255
+ HgbBU
256
+ HgbBW
257
+ PltAC
258
+ BicY
259
+ PltAE
260
+ CrtV
261
+ CrtW
262
+ CrtQ
263
+ CrtT
264
+ HgbAA
265
+ SodAQ
266
+ SodAR
267
+ UreAS
268
+ PltAH
269
+ SodBZ
270
+ WbcI
271
+ WbcJ
272
+ WbcK
273
+ WbcM
274
+ WbcR
275
+ WbcU
276
+ WbcS
277
+ WbcL
278
+ WbcG
279
+ HgbBX
280
+ PltAL
281
+ HgbBV
282
+ CrtY
283
+ HgbBZ
284
+ PotI
285
+ UreAP
286
+ SodBX
287
+ CrtAG
288
+ PotBA
289
+ BicCD
290
+ PltAK
291
+ CrtZ
292
+ BicM
293
+ UreAN
294
+ UreAV
295
+ UreAY
296
+ PltAI
297
+ PltAN
298
+ PltAQ
299
+ PltAO
300
+ SodCC
301
+ PotAY
302
+ SodCF
303
+ PltAW
304
+ PltAX
305
+ PltBC
306
+ PltAV
307
+ PltAY
308
+ HgbX
309
+ HgbY
310
+ SodAP
311
+ SodAS
312
+ CrtAF
313
+ PotAQ
314
+ UreBJ
315
+ HgbBY
316
+ BicCB
317
+ HgbAB
318
+ HgbCC
319
+ PotG
320
+ PotAV
321
+ PotJ
322
+ PltAP
323
+ CrtAA
324
+ CrtAC
325
+ BicCF
326
+ BicCH
327
+ WbcY
328
+ WbcAI
329
+ WbcAC
330
+ WbcAD
331
+ WbcAM
332
+ WbcQ
333
+ WbcAE
334
+ WbcAG
335
+ WbcO
336
+ WbcP
337
+ WbcAN
338
+ WbcAH
339
+ PltAU
340
+ PotAU
341
+ HgbCD
342
+ HgbCE
343
+ WbcN
344
+ PltBE
345
+ PltBD
346
+ PltAZ
347
+ BicO
348
+ SodCD
349
+ UreBP
350
+ CrtAH
351
+ CrtAK
352
+ PotAW
353
+ CrtAI
354
+ CrtAU
355
+ UreAU
356
+ CrtAM
357
+ HgbCA
358
+ BicCT
359
+ BicCP
360
+ BicCJ
361
+ PotAS
362
+ UreAX
363
+ BicCN
364
+ WbcX
365
+ CrtAR
366
+ CrtAJ
367
+ PotBL
368
+ UreCD
369
+ UreCG
370
+ SodAT
371
+ PltAS
372
+ SodAO
373
+ HgbV
374
+ HgbW
375
+ BicG
376
+ UreBD
377
+ UreBE
378
+ UreAR
379
+ HgbCJ
380
+ HgbCF
381
+ BicCL
382
+ PotH
383
+ HgbCB
384
+ UreBC
385
+ PotBO
386
+ PltAR
387
+ CrtAL
388
+ BicK
389
+ WbcT
390
+ WbcV
391
+ PltAT
392
+ CrtAT
393
+ CrtAP
394
+ CrtAN
395
+ SodAJ
396
+ SodAG
397
+ PotAX
398
+ UreBA
399
+ UreBF
400
+ PotBB
401
+ CrtAV
402
+ CrtAQ
403
+ UreAZ
404
+ PotAZ
405
+ UreBL
406
+ PotBH
407
+ SodAM
408
+ UreBG
409
+ HgbQ
410
+ HgbU
411
+ CrtBA
412
+ PltBG
413
+ PltBB
414
+ CrtAY
415
+ HgbP
416
+ SodCN
417
+ UreBH
418
+ BicI
419
+ HgbCG
420
+ SodAI
421
+ PotF
422
+ PotBV
423
+ HgbCN
424
+ HgbCK
425
+ HgbH
426
+ BicCR
427
+ HgbCI
428
+ CrtAO
429
+ CrtAX
430
+ HgbO
431
+ CrtAZ
432
+ CrtAW
433
+ SodAN
434
+ SodAL
435
+ SodCG
436
+ PotBC
437
+ UreBU
438
+ SodCT
439
+ PotBD
440
+ HgbCH
441
+ PotBE
442
+ PotBJ
443
+ PltBA
444
+ HgbCM
445
+ SodCE
446
+ PltBF
447
+ WbcZ
448
+ WbcAA
449
+ WbcAB
450
+ WbcAF
451
+ WbcW
452
+ UreBX
453
+ UreBZ
454
+ UreBM
455
+ SodCW
456
+ UreBY
457
+ SodCP
458
+ UreBT
459
+ UreBN
460
+ UreBK
461
+ PotBT
462
+ SodW
463
+ PotBG
464
+ UreBR
465
+ SodCJ
466
+ PotBR
467
+ PotBP
468
+ PotBU
469
+ SodCH
470
+ SodP
471
+ PltBI
472
+ PltBM
473
+ PltBJ
474
+ HgbCL
475
+ PotE
476
+ PltBK
477
+ PltBL
478
+ BicE
479
+ WbcAU
480
+ UreBO
481
+ UreBV
482
+ SodAE
483
+ SodCK
484
+ CrtBC
485
+ CrtAS
486
+ CrtBD
487
+ CrtBE
488
+ PltCO
489
+ PltCH
490
+ PltCN
491
+ PltCE
492
+ WbcAS
493
+ WbcAO
494
+ WbcAR
495
+ WbcAQ
496
+ WbcAP
497
+ WbcAL
498
+ HgbCO
499
+ SodCI
500
+ HgbR
501
+ CrtBH
502
+ UreBI
503
+ HgbL
504
+ HgbCQ
505
+ PotBI
506
+ HgbS
507
+ PltBH
508
+ PotBQ
509
+ PltBO
510
+ PotA
511
+ SodCL
512
+ PotBF
513
+ PotBM
514
+ HgbM
515
+ PotD
516
+ BicCV
517
+ CrtBV
518
+ CrtBB
519
+ HgbT
520
+ SodAF
521
+ SodCM
522
+ PotB
523
+ PltBZ
524
+ PltCD
525
+ BicAH
526
+ CrtBG
527
+ SodAD
528
+ SodAH
529
+ UreBQ
530
+ UreBW
531
+ BicX
532
+ CrtBF
533
+ PltCF
534
+ PltCI
535
+ HgbK
536
+ WbcBE
537
+ SodAB
538
+ UreCA
539
+ UreCO
540
+ PotBS
541
+ CrtBI
542
+ PotC
543
+ HgbCP
544
+ PltBW
545
+ PltBN
546
+ PltBV
547
+ PltBP
548
+ PltBS
549
+ PltBX
550
+ PltCA
551
+ UreCF
552
+ SodA
553
+ BicAV
554
+ PotBN
555
+ SodCS
556
+ BicA
557
+ HgbA
558
+ PltBT
559
+ HgbN
560
+ HgbCR
561
+ HgbCV
562
+ WbcAJ
563
+ WbcAK
564
+ BicZ
565
+ PltBU
566
+ PltBR
567
+ SodCV
568
+ HgbCW
569
+ CrtBK
570
+ BicCG
571
+ SodAK
572
+ UreCH
573
+ WbcCW
574
+ WbcBQ
575
+ CrtCF
576
+ CrtCJ
577
+ CrtBL
578
+ PltCB
579
+ PltCC
580
+ HgbG
581
+ SodCR
582
+ CrtCI
583
+ CrtBJ
584
+ CrtBY
585
+ SodCQ
586
+ BicCM
587
+ WbcAV
588
+ WbcBB
589
+ WbcAX
590
+ WbcAZ
591
+ WbcBS
592
+ WbcBF
593
+ WbcBG
594
+ WbcBJ
595
+ BicAR
596
+ PltCW
597
+ CrtBZ
598
+ CrtCG
599
+ CrtCL
600
+ CrtCO
601
+ CrtCS
602
+ CrtCW
603
+ SodG
604
+ UreCQ
605
+ UreCW
606
+ UreCC
607
+ UreCK
608
+ BicAT
609
+ PotCW
610
+ UreCB
611
+ SodCO
612
+ BicC
613
+ CrtCD
614
+ SodV
615
+ UreCM
616
+ CrtBW
617
+ CrtCA
618
+ PltCG
619
+ PltCS
620
+ PltCK
621
+ PotCI
622
+ PotBZ
623
+ PltBY