new llama model added

app.py

@@ -1,7 +1,7 @@
 import os
 import torch
 import json
-from transformers import AutoTokenizer, AutoModelForCausalLM
+from transformers import LlamaTokenizer, AutoModelForCausalLM
 import gradio as gr
 from huggingface_hub import login
 
@@ -18,7 +18,7 @@ repo_path = "meta-llama/Llama-2-7b-chat"
 params_path = os.path.join(repo_path, "params.json")
 model_weights_path = os.path.join(repo_path, "consolidated.00.pth")
 config_path = os.path.join(repo_path, "config.json")
-tokenizer_path = os.path.join(repo_path)  # Вказуємо на сам репозиторій, а не окремий файл
+tokenizer_path = os.path.join(repo_path, "tokenizer.model")  # Правильний шлях до токенізатора
 
 # Створюємо директорію для файлів, якщо вона не існує
 os.makedirs(repo_path, exist_ok=True)
@@ -41,8 +41,8 @@ if not os.path.exists(config_path):
         json.dump(custom_config, f, indent=4)
     print(f"{config_path} created successfully!")
 
-# Завантаження токенізатора (вказуємо на весь репозиторій)
-tokenizer = AutoTokenizer.from_pretrained(tokenizer_path, use_auth_token=hf_token)
+# Завантаження токенізатора з локального файлу
+tokenizer = LlamaTokenizer.from_pretrained(tokenizer_path, use_auth_token=hf_token)
 
 # Завантаження стану моделі
 state_dict = torch.load(model_weights_path, map_location=torch.device("cpu"))