Zual commited on
Commit
ababc0e
1 Parent(s): 3ebd70f

Upload tokenizer.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. tokenizer.json +78 -78
tokenizer.json CHANGED
@@ -81,33 +81,33 @@
81
  "h6": 78,
82
  "h7": 79,
83
  "h8": 80,
84
- "R": 81,
85
- "N": 82,
86
- "B": 83,
87
- "Q": 84,
88
- "K": 85,
89
  "P": 86,
90
  "+": 87,
91
- "O": 88,
92
- "=": 89,
93
- "-": 90,
94
  "#": 91,
95
  "x": 92,
96
- "9": 93,
97
- ".": 94,
98
- "0": 95,
99
- "\t": 96,
100
- ")": 97,
101
- "\n": 98,
102
- "!": 99,
103
- "[": 100,
104
- ",": 101,
105
- "'": 102,
106
- "\"": 103,
107
- "/": 104,
108
- "(": 105,
109
- " ": 106,
110
- "]": 107
111
  },
112
  "id2token": {
113
  "0": "<PAD>",
@@ -191,77 +191,77 @@
191
  "78": "h6",
192
  "79": "h7",
193
  "80": "h8",
194
- "81": "R",
195
- "82": "N",
196
- "83": "B",
197
- "84": "Q",
198
- "85": "K",
199
  "86": "P",
200
  "87": "+",
201
- "88": "O",
202
- "89": "=",
203
- "90": "-",
204
  "91": "#",
205
  "92": "x",
206
- "93": "9",
207
- "94": ".",
208
- "95": "0",
209
- "96": "\t",
210
- "97": ")",
211
- "98": "\n",
212
- "99": "!",
213
- "100": "[",
214
- "101": ",",
215
- "102": "'",
216
- "103": "\"",
217
- "104": "/",
218
- "105": "(",
219
- "106": " ",
220
- "107": "]"
221
  },
222
  "valid_chars": [
223
- "5",
224
- "9",
225
- "[",
226
- "7",
227
- "4",
228
- "g",
229
- "#",
230
- "d",
231
- "'",
232
  "/",
233
- "P",
234
- "1",
235
- ")",
236
- "e",
237
- "+",
238
- "h",
239
  "a",
240
- "6",
241
- "=",
 
 
 
 
 
242
  "-",
 
 
 
 
243
  ".",
 
 
 
244
  "K",
 
 
 
 
 
 
 
245
  "2",
246
- "\t",
 
 
 
 
 
 
247
  "O",
248
  "N",
249
- "8",
250
- "x",
251
- "Q",
252
- "\"",
253
  "(",
254
  "c",
255
- "f",
256
- " ",
257
- "b",
258
- "]",
259
- "\n",
260
- "R",
261
- "!",
262
- "3",
263
- ",",
264
  "B",
265
- "0"
 
266
  ]
267
  }
 
81
  "h6": 78,
82
  "h7": 79,
83
  "h8": 80,
84
+ "N": 81,
85
+ "Q": 82,
86
+ "K": 83,
87
+ "B": 84,
88
+ "R": 85,
89
  "P": 86,
90
  "+": 87,
91
+ ".": 88,
92
+ "O": 89,
93
+ "0": 90,
94
  "#": 91,
95
  "x": 92,
96
+ "=": 93,
97
+ "9": 94,
98
+ "-": 95,
99
+ "!": 96,
100
+ "[": 97,
101
+ "/": 98,
102
+ "(": 99,
103
+ " ": 100,
104
+ "'": 101,
105
+ "\"": 102,
106
+ ")": 103,
107
+ ",": 104,
108
+ "\t": 105,
109
+ "]": 106,
110
+ "\n": 107
111
  },
112
  "id2token": {
113
  "0": "<PAD>",
 
191
  "78": "h6",
192
  "79": "h7",
193
  "80": "h8",
194
+ "81": "N",
195
+ "82": "Q",
196
+ "83": "K",
197
+ "84": "B",
198
+ "85": "R",
199
  "86": "P",
200
  "87": "+",
201
+ "88": ".",
202
+ "89": "O",
203
+ "90": "0",
204
  "91": "#",
205
  "92": "x",
206
+ "93": "=",
207
+ "94": "9",
208
+ "95": "-",
209
+ "96": "!",
210
+ "97": "[",
211
+ "98": "/",
212
+ "99": "(",
213
+ "100": " ",
214
+ "101": "'",
215
+ "102": "\"",
216
+ "103": ")",
217
+ "104": ",",
218
+ "105": "\t",
219
+ "106": "]",
220
+ "107": "\n"
221
  },
222
  "valid_chars": [
 
 
 
 
 
 
 
 
 
223
  "/",
224
+ "3",
 
 
 
 
 
225
  "a",
226
+ "x",
227
+ " ",
228
+ "\"",
229
+ "d",
230
+ "h",
231
+ "\t",
232
+ "b",
233
  "-",
234
+ "\n",
235
+ "e",
236
+ "4",
237
+ "+",
238
  ".",
239
+ "5",
240
+ "[",
241
+ "'",
242
  "K",
243
+ "f",
244
+ "9",
245
+ "1",
246
+ "!",
247
+ "0",
248
+ "#",
249
+ "7",
250
  "2",
251
+ "P",
252
+ "R",
253
+ ")",
254
+ "8",
255
+ ",",
256
+ "]",
257
+ "g",
258
  "O",
259
  "N",
 
 
 
 
260
  "(",
261
  "c",
262
+ "Q",
 
 
 
 
 
 
 
 
263
  "B",
264
+ "6",
265
+ "="
266
  ]
267
  }