chess / tokenizer.json
Zual's picture
Upload tokenizer.json with huggingface_hub
5981655 verified
raw
history blame
3.61 kB
{
"vocab": {
"<PAD>": 0,
"a1": 1,
"a": 2,
"1": 3,
"a2": 4,
"2": 5,
"a3": 6,
"3": 7,
"a4": 8,
"4": 9,
"a5": 10,
"5": 11,
"a6": 12,
"6": 13,
"a7": 14,
"7": 15,
"a8": 16,
"8": 17,
"b1": 18,
"b": 19,
"b2": 20,
"b3": 21,
"b4": 22,
"b5": 23,
"b6": 24,
"b7": 25,
"b8": 26,
"c1": 27,
"c": 28,
"c2": 29,
"c3": 30,
"c4": 31,
"c5": 32,
"c6": 33,
"c7": 34,
"c8": 35,
"d1": 36,
"d": 37,
"d2": 38,
"d3": 39,
"d4": 40,
"d5": 41,
"d6": 42,
"d7": 43,
"d8": 44,
"e1": 45,
"e": 46,
"e2": 47,
"e3": 48,
"e4": 49,
"e5": 50,
"e6": 51,
"e7": 52,
"e8": 53,
"f1": 54,
"f": 55,
"f2": 56,
"f3": 57,
"f4": 58,
"f5": 59,
"f6": 60,
"f7": 61,
"f8": 62,
"g1": 63,
"g": 64,
"g2": 65,
"g3": 66,
"g4": 67,
"g5": 68,
"g6": 69,
"g7": 70,
"g8": 71,
"h1": 72,
"h": 73,
"h2": 74,
"h3": 75,
"h4": 76,
"h5": 77,
"h6": 78,
"h7": 79,
"h8": 80,
"R": 81,
"N": 82,
"B": 83,
"Q": 84,
"K": 85,
"P": 86,
"+": 87,
"O": 88,
"=": 89,
"-": 90,
"#": 91,
"x": 92,
"9": 93,
".": 94,
"0": 95,
"\t": 96,
")": 97,
"\n": 98,
"!": 99,
"[": 100,
",": 101,
"'": 102,
"\"": 103,
"/": 104,
"(": 105,
" ": 106,
"]": 107
},
"id2token": {
"0": "<PAD>",
"1": "a1",
"2": "a",
"3": "1",
"4": "a2",
"5": "2",
"6": "a3",
"7": "3",
"8": "a4",
"9": "4",
"10": "a5",
"11": "5",
"12": "a6",
"13": "6",
"14": "a7",
"15": "7",
"16": "a8",
"17": "8",
"18": "b1",
"19": "b",
"20": "b2",
"21": "b3",
"22": "b4",
"23": "b5",
"24": "b6",
"25": "b7",
"26": "b8",
"27": "c1",
"28": "c",
"29": "c2",
"30": "c3",
"31": "c4",
"32": "c5",
"33": "c6",
"34": "c7",
"35": "c8",
"36": "d1",
"37": "d",
"38": "d2",
"39": "d3",
"40": "d4",
"41": "d5",
"42": "d6",
"43": "d7",
"44": "d8",
"45": "e1",
"46": "e",
"47": "e2",
"48": "e3",
"49": "e4",
"50": "e5",
"51": "e6",
"52": "e7",
"53": "e8",
"54": "f1",
"55": "f",
"56": "f2",
"57": "f3",
"58": "f4",
"59": "f5",
"60": "f6",
"61": "f7",
"62": "f8",
"63": "g1",
"64": "g",
"65": "g2",
"66": "g3",
"67": "g4",
"68": "g5",
"69": "g6",
"70": "g7",
"71": "g8",
"72": "h1",
"73": "h",
"74": "h2",
"75": "h3",
"76": "h4",
"77": "h5",
"78": "h6",
"79": "h7",
"80": "h8",
"81": "R",
"82": "N",
"83": "B",
"84": "Q",
"85": "K",
"86": "P",
"87": "+",
"88": "O",
"89": "=",
"90": "-",
"91": "#",
"92": "x",
"93": "9",
"94": ".",
"95": "0",
"96": "\t",
"97": ")",
"98": "\n",
"99": "!",
"100": "[",
"101": ",",
"102": "'",
"103": "\"",
"104": "/",
"105": "(",
"106": " ",
"107": "]"
},
"valid_chars": [
"5",
"9",
"[",
"7",
"4",
"g",
"#",
"d",
"'",
"/",
"P",
"1",
")",
"e",
"+",
"h",
"a",
"6",
"=",
"-",
".",
"K",
"2",
"\t",
"O",
"N",
"8",
"x",
"Q",
"\"",
"(",
"c",
"f",
" ",
"b",
"]",
"\n",
"R",
"!",
"3",
",",
"B",
"0"
]
}