init commit

app.py

@@ -1,6 +1,6 @@
-from transformers import AutoModelForCausalLM, LlamaTokenizer
-import os
+from transformers import LlamaForCausalLM, LlamaTokenizer
 import torch
+import os
 
 # Отримуємо токен із змінної середовища
 hf_token = os.getenv("HF_API_TOKEN")
@@ -8,17 +8,18 @@ hf_token = os.getenv("HF_API_TOKEN")
 if not hf_token:
     raise ValueError("HF_API_TOKEN environment variable is not set")
 
-model_name = "meta-llama/Llama-2-7b-chat"
+# Шлях до файлу моделі
+model_path = "path_to_downloaded_model/consolidated.00.pth"  # Вкажіть правильний шлях
 
-# Завантажуємо токенізатор Llama
-tokenizer = LlamaTokenizer.from_pretrained(model_name, use_auth_token=hf_token)
+# Завантажуємо токенізатор
+tokenizer = LlamaTokenizer.from_pretrained("meta-llama/Llama-2-7b-chat", token=hf_token)
 
-# Завантажуємо модель
-model = AutoModelForCausalLM.from_pretrained(
-    model_name,
-    use_auth_token=hf_token,
+# Завантажуємо модель з файлу
+model = LlamaForCausalLM.from_pretrained(
+    model_path,
+    config="path_to_model/config.json",  # Якщо є конфігураційний файл
     torch_dtype=torch.float32,  # Використання full precision для CPU
-    device_map=None  # Вимкнення автоматичного розподілу по GPU
+    device_map="auto"  # Для автоматичного розподілу на доступні пристрої
 )
 
 # Тестове введення