File size: 1,882 Bytes
52ea8eb |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 |
{
"add_prefix_space": true,
"additional_special_tokens": [
"--NME--",
"[E-0]",
"[E-1]",
"[E-2]",
"[E-3]",
"[E-4]",
"[E-5]",
"[E-6]",
"[E-7]",
"[E-8]",
"[E-9]",
"[E-10]",
"[E-11]",
"[E-12]",
"[E-13]",
"[E-14]",
"[E-15]",
"[E-16]",
"[E-17]",
"[E-18]",
"[E-19]",
"[E-20]",
"[E-21]",
"[E-22]",
"[E-23]",
"[E-24]",
"[E-25]",
"[E-26]",
"[E-27]",
"[E-28]",
"[E-29]",
"[E-30]",
"[E-31]",
"[E-32]",
"[E-33]",
"[E-34]",
"[E-35]",
"[E-36]",
"[E-37]",
"[E-38]",
"[E-39]",
"[E-40]",
"[E-41]",
"[E-42]",
"[E-43]",
"[E-44]",
"[E-45]",
"[E-46]",
"[E-47]",
"[E-48]",
"[E-49]",
"[E-50]",
"[E-51]",
"[E-52]",
"[E-53]",
"[E-54]",
"[E-55]",
"[E-56]",
"[E-57]",
"[E-58]",
"[E-59]",
"[E-60]",
"[E-61]",
"[E-62]",
"[E-63]",
"[E-64]",
"[E-65]",
"[E-66]",
"[E-67]",
"[E-68]",
"[E-69]",
"[E-70]",
"[E-71]",
"[E-72]",
"[E-73]",
"[E-74]",
"[E-75]",
"[E-76]",
"[E-77]",
"[E-78]",
"[E-79]",
"[E-80]",
"[E-81]",
"[E-82]",
"[E-83]",
"[E-84]",
"[E-85]",
"[E-86]",
"[E-87]",
"[E-88]",
"[E-89]",
"[E-90]",
"[E-91]",
"[E-92]",
"[E-93]",
"[E-94]",
"[E-95]",
"[E-96]",
"[E-97]",
"[E-98]",
"[E-99]"
],
"bos_token": "[CLS]",
"clean_up_tokenization_spaces": true,
"cls_token": "[CLS]",
"do_lower_case": false,
"eos_token": "[SEP]",
"mask_token": "[MASK]",
"model_max_length": 1000000000000000019884624838656,
"pad_token": "[PAD]",
"sep_token": "[SEP]",
"sp_model_kwargs": {},
"split_by_punct": false,
"tokenizer_class": "DebertaV2Tokenizer",
"unk_token": "[UNK]",
"vocab_type": "spm"
}
|