File size: 996 Bytes
7fd249e |
1 |
{"eos_token": "</s>", "unk_token": "<unk>", "pad_token": "<pad>", "additional_special_tokens": ["β<extra_id_64>", "β<extra_id_95>", "β<extra_id_92>", "β<extra_id_57>", "β<extra_id_66>", "β<extra_id_59>", "β<extra_id_55>", "β<extra_id_69>", "β<extra_id_89>", "β<extra_id_72>", "β<extra_id_56>", "β<extra_id_78>", "β<extra_id_90>", "β<extra_id_98>", "β<extra_id_62>", "β<extra_id_99>", "β<extra_id_70>", "β<extra_id_94>", "β<extra_id_86>", "β<extra_id_79>", "β<extra_id_58>", "β<extra_id_65>", "β<extra_id_76>", "β<extra_id_85>", "β<extra_id_60>", "β<extra_id_82>", "β<extra_id_63>", "β<extra_id_75>", "β<extra_id_71>", "β<extra_id_88>", "β<extra_id_68>", "β<extra_id_80>", "β<extra_id_96>", "β<extra_id_81>", "β<extra_id_67>", "β<extra_id_77>", "β<extra_id_93>", "β<extra_id_83>", "β<extra_id_84>", "β<extra_id_97>", "β<extra_id_61>", "β<extra_id_91>", "β<extra_id_87>", "β<extra_id_73>", "β<extra_id_74>"]} |