Add tokenizer and config

Browse files

Files changed (5) hide show

config.json +2 -3
generation_config.json +7 -0
special_tokens_map.json +234 -0
tokenizer.json +0 -0
tokenizer_config.json +40 -0

config.json CHANGED Viewed

@@ -1,5 +1,4 @@
 {
-  "_name_or_path": "/workspace/llm/output_model/llama-2-ko-70b",
   "architectures": [
     "LlamaForCausalLM"
   ],
@@ -20,8 +19,8 @@
   "rope_scaling": null,
   "rope_theta": 10000.0,
   "tie_word_embeddings": false,
-  "torch_dtype": "float16",
-  "transformers_version": "4.33.0.dev0",
   "use_cache": true,
   "vocab_size": 46592
 }

 {
   "architectures": [
     "LlamaForCausalLM"
   ],
   "rope_scaling": null,
   "rope_theta": 10000.0,
   "tie_word_embeddings": false,
+  "torch_dtype": "bfloat16",
+  "transformers_version": "4.33.1",
   "use_cache": true,
   "vocab_size": 46592
 }

generation_config.json ADDED Viewed

	@@ -0,0 +1,7 @@

+{
+  "_from_model_config": true,
+  "bos_token_id": 1,
+  "eos_token_id": 2,
+  "pad_token_id": 2,
+  "transformers_version": "4.33.1"
+}

special_tokens_map.json ADDED Viewed

	@@ -0,0 +1,234 @@

+{
+  "additional_special_tokens": [
+    "<unused0>",
+    "<unused1>",
+    "<unused2>",
+    "<unused3>",
+    "<unused4>",
+    "<unused5>",
+    "<unused6>",
+    "<unused7>",
+    "<unused8>",
+    "<unused9>",
+    "<unused10>",
+    "<unused11>",
+    "<unused12>",
+    "<unused13>",
+    "<unused14>",
+    "<unused15>",
+    "<unused16>",
+    "<unused17>",
+    "<unused18>",
+    "<unused19>",
+    "<unused20>",
+    "<unused21>",
+    "<unused22>",
+    "<unused23>",
+    "<unused24>",
+    "<unused25>",
+    "<unused26>",
+    "<unused27>",
+    "<unused28>",
+    "<unused29>",
+    "<unused30>",
+    "<unused31>",
+    "<unused32>",
+    "<unused33>",
+    "<unused34>",
+    "<unused35>",
+    "<unused36>",
+    "<unused37>",
+    "<unused38>",
+    "<unused39>",
+    "<unused40>",
+    "<unused41>",
+    "<unused42>",
+    "<unused43>",
+    "<unused44>",
+    "<unused45>",
+    "<unused46>",
+    "<unused47>",
+    "<unused48>",
+    "<unused49>",
+    "<unused50>",
+    "<unused51>",
+    "<unused52>",
+    "<unused53>",
+    "<unused54>",
+    "<unused55>",
+    "<unused56>",
+    "<unused57>",
+    "<unused58>",
+    "<unused59>",
+    "<unused60>",
+    "<unused61>",
+    "<unused62>",
+    "<unused63>",
+    "<unused64>",
+    "<unused65>",
+    "<unused66>",
+    "<unused67>",
+    "<unused68>",
+    "<unused69>",
+    "<unused70>",
+    "<unused71>",
+    "<unused72>",
+    "<unused73>",
+    "<unused74>",
+    "<unused75>",
+    "<unused76>",
+    "<unused77>",
+    "<unused78>",
+    "<unused79>",
+    "<unused80>",
+    "<unused81>",
+    "<unused82>",
+    "<unused83>",
+    "<unused84>",
+    "<unused85>",
+    "<unused86>",
+    "<unused87>",
+    "<unused88>",
+    "<unused89>",
+    "<unused90>",
+    "<unused91>",
+    "<unused92>",
+    "<unused93>",
+    "<unused94>",
+    "<unused95>",
+    "<unused96>",
+    "<unused97>",
+    "<unused98>",
+    "<unused99>",
+    "<unused100>",
+    "<unused101>",
+    "<unused102>",
+    "<unused103>",
+    "<unused104>",
+    "<unused105>",
+    "<unused106>",
+    "<unused107>",
+    "<unused108>",
+    "<unused109>",
+    "<unused110>",
+    "<unused111>",
+    "<unused112>",
+    "<unused113>",
+    "<unused114>",
+    "<unused115>",
+    "<unused116>",
+    "<unused117>",
+    "<unused118>",
+    "<unused119>",
+    "<unused120>",
+    "<unused121>",
+    "<unused122>",
+    "<unused123>",
+    "<unused124>",
+    "<unused125>",
+    "<unused126>",
+    "<unused127>",
+    "<unused128>",
+    "<unused129>",
+    "<unused130>",
+    "<unused131>",
+    "<unused132>",
+    "<unused133>",
+    "<unused134>",
+    "<unused135>",
+    "<unused136>",
+    "<unused137>",
+    "<unused138>",
+    "<unused139>",
+    "<unused140>",
+    "<unused141>",
+    "<unused142>",
+    "<unused143>",
+    "<unused144>",
+    "<unused145>",
+    "<unused146>",
+    "<unused147>",
+    "<unused148>",
+    "<unused149>",
+    "<unused150>",
+    "<unused151>",
+    "<unused152>",
+    "<unused153>",
+    "<unused154>",
+    "<unused155>",
+    "<unused156>",
+    "<unused157>",
+    "<unused158>",
+    "<unused159>",
+    "<unused160>",
+    "<unused161>",
+    "<unused162>",
+    "<unused163>",
+    "<unused164>",
+    "<unused165>",
+    "<unused166>",
+    "<unused167>",
+    "<unused168>",
+    "<unused169>",
+    "<unused170>",
+    "<unused171>",
+    "<unused172>",
+    "<unused173>",
+    "<unused174>",
+    "<unused175>",
+    "<unused176>",
+    "<unused177>",
+    "<unused178>",
+    "<unused179>",
+    "<unused180>",
+    "<unused181>",
+    "<unused182>",
+    "<unused183>",
+    "<unused184>",
+    "<unused185>",
+    "<unused186>",
+    "<unused187>",
+    "<unused188>",
+    "<unused189>",
+    "<unused190>",
+    "<unused191>",
+    "<unused192>",
+    "<unused193>",
+    "<unused194>",
+    "<unused195>",
+    "<unused196>",
+    "<unused197>",
+    "<unused198>",
+    "<unused199>",
+    "<unused200>",
+    "<unused201>",
+    "<unused202>",
+    "<unused203>",
+    "<unused204>",
+    "<unused205>",
+    "<unused206>",
+    "<unused207>",
+    "<unused208>"
+  ],
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json ADDED Viewed

The diff for this file is too large to render. See raw diff

tokenizer_config.json ADDED Viewed

	@@ -0,0 +1,40 @@

+{
+  "bos_token": {
+    "__type": "AddedToken",
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "clean_up_tokenization_spaces": false,
+  "eos_token": {
+    "__type": "AddedToken",
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "legacy": false,
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": {
+    "__type": "AddedToken",
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sp_model_kwargs": {},
+  "tokenizer_class": "LlamaTokenizer",
+  "unk_token": {
+    "__type": "AddedToken",
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "use_default_system_prompt": true
+}