new llama model added

app.py

@@ -13,12 +13,12 @@ if not hf_token:
 # Логін до Hugging Face Hub
 login(token=hf_token)
 
-# Шлях до репозиторію на Hugging Face
+# Шлях до локального репозиторію з моделлю
 repo_path = "meta-llama/Llama-2-7b-chat"
 params_path = os.path.join(repo_path, "params.json")
 model_weights_path = os.path.join(repo_path, "consolidated.00.pth")
 config_path = os.path.join(repo_path, "config.json")
-tokenizer_path = os.path.join(repo_path, "tokenizer.model")
+tokenizer_path = repo_path  # Папка, де зберігається `tokenizer.model`
 
 # Перевірка чи існує каталог, якщо ні - створення
 os.makedirs(repo_path, exist_ok=True)
@@ -43,8 +43,8 @@ if not os.path.exists(config_path):
         json.dump(custom_config, f, indent=4)
     print(f"{config_path} created successfully!")
 
-# Завантаження токенізатора з файлу tokenizer.model
-tokenizer = LlamaTokenizer(tokenizer_file=tokenizer_path)
+# Завантаження токенізатора
+tokenizer = LlamaTokenizer.from_pretrained(tokenizer_path)
 
 # Завантаження стану моделі
 state_dict = torch.load(model_weights_path, map_location=torch.device("cpu"))