Zual commited on
Commit
87efa74
1 Parent(s): b3af2e9

Upload tokenizer.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. tokenizer.json +77 -77
tokenizer.json CHANGED
@@ -81,33 +81,33 @@
81
  "h6": 78,
82
  "h7": 79,
83
  "h8": 80,
84
- "N": 81,
85
  "Q": 82,
86
- "K": 83,
87
- "B": 84,
88
- "R": 85,
89
- "P": 86,
90
  "+": 87,
91
- ".": 88,
92
  "O": 89,
93
- "0": 90,
94
  "#": 91,
95
- "x": 92,
96
- "=": 93,
97
- "9": 94,
98
- "-": 95,
99
- "!": 96,
100
- "[": 97,
101
- "/": 98,
102
- "(": 99,
103
- " ": 100,
104
- "'": 101,
105
- "\"": 102,
106
- ")": 103,
107
- ",": 104,
108
  "\t": 105,
109
- "]": 106,
110
- "\n": 107
111
  },
112
  "id2token": {
113
  "0": "<PAD>",
@@ -191,77 +191,77 @@
191
  "78": "h6",
192
  "79": "h7",
193
  "80": "h8",
194
- "81": "N",
195
  "82": "Q",
196
- "83": "K",
197
- "84": "B",
198
- "85": "R",
199
- "86": "P",
200
  "87": "+",
201
- "88": ".",
202
  "89": "O",
203
- "90": "0",
204
  "91": "#",
205
- "92": "x",
206
- "93": "=",
207
- "94": "9",
208
- "95": "-",
209
- "96": "!",
210
- "97": "[",
211
- "98": "/",
212
- "99": "(",
213
- "100": " ",
214
- "101": "'",
215
- "102": "\"",
216
- "103": ")",
217
- "104": ",",
218
  "105": "\t",
219
- "106": "]",
220
- "107": "\n"
221
  },
222
  "valid_chars": [
223
- "/",
224
  "3",
225
- "a",
226
- "x",
227
- " ",
228
- "\"",
229
- "d",
230
- "h",
231
- "\t",
232
- "b",
233
- "-",
234
- "\n",
235
- "e",
236
  "4",
237
- "+",
 
 
 
 
 
238
  ".",
239
- "5",
240
  "[",
241
- "'",
242
  "K",
243
- "f",
244
- "9",
245
- "1",
246
- "!",
247
- "0",
248
- "#",
249
  "7",
250
- "2",
251
  "P",
252
- "R",
253
- ")",
254
- "8",
255
- ",",
256
- "]",
257
- "g",
258
  "O",
259
- "N",
260
- "(",
 
 
 
261
  "c",
262
- "Q",
263
- "B",
 
 
 
 
 
 
 
 
 
264
  "6",
265
- "="
 
 
 
 
 
 
 
 
266
  ]
267
  }
 
81
  "h6": 78,
82
  "h7": 79,
83
  "h8": 80,
84
+ "K": 81,
85
  "Q": 82,
86
+ "N": 83,
87
+ "P": 84,
88
+ "B": 85,
89
+ "R": 86,
90
  "+": 87,
91
+ "=": 88,
92
  "O": 89,
93
+ "-": 90,
94
  "#": 91,
95
+ "9": 92,
96
+ ".": 93,
97
+ "x": 94,
98
+ "0": 95,
99
+ "(": 96,
100
+ ",": 97,
101
+ ")": 98,
102
+ "]": 99,
103
+ "'": 100,
104
+ "\"": 101,
105
+ "/": 102,
106
+ "!": 103,
107
+ "\n": 104,
108
  "\t": 105,
109
+ " ": 106,
110
+ "[": 107
111
  },
112
  "id2token": {
113
  "0": "<PAD>",
 
191
  "78": "h6",
192
  "79": "h7",
193
  "80": "h8",
194
+ "81": "K",
195
  "82": "Q",
196
+ "83": "N",
197
+ "84": "P",
198
+ "85": "B",
199
+ "86": "R",
200
  "87": "+",
201
+ "88": "=",
202
  "89": "O",
203
+ "90": "-",
204
  "91": "#",
205
+ "92": "9",
206
+ "93": ".",
207
+ "94": "x",
208
+ "95": "0",
209
+ "96": "(",
210
+ "97": ",",
211
+ "98": ")",
212
+ "99": "]",
213
+ "100": "'",
214
+ "101": "\"",
215
+ "102": "/",
216
+ "103": "!",
217
+ "104": "\n",
218
  "105": "\t",
219
+ "106": " ",
220
+ "107": "["
221
  },
222
  "valid_chars": [
 
223
  "3",
 
 
 
 
 
 
 
 
 
 
 
224
  "4",
225
+ "=",
226
+ "h",
227
+ "!",
228
+ "B",
229
+ "#",
230
+ "d",
231
  ".",
 
232
  "[",
 
233
  "K",
234
+ "(",
 
 
 
 
 
235
  "7",
236
+ "N",
237
  "P",
 
 
 
 
 
 
238
  "O",
239
+ "1",
240
+ ",",
241
+ "x",
242
+ "2",
243
+ "8",
244
  "c",
245
+ "-",
246
+ "b",
247
+ ")",
248
+ "\"",
249
+ "e",
250
+ "\n",
251
+ "a",
252
+ " ",
253
+ "+",
254
+ "f",
255
+ "5",
256
  "6",
257
+ "Q",
258
+ "]",
259
+ "'",
260
+ "/",
261
+ "g",
262
+ "9",
263
+ "\t",
264
+ "R",
265
+ "0"
266
  ]
267
  }