init commit

app.py

@@ -2,6 +2,7 @@ import os
 from transformers import AutoTokenizer, AutoModelForCausalLM
 import torch
 from transformers import BitsAndBytesConfig
+from accelerate import Accelerator
 
 # Завантажуємо токен автентифікації з змінної середовища
 hf_token = os.getenv("HF_API_TOKEN")
@@ -21,13 +22,20 @@ bnb_config = BitsAndBytesConfig(
 tokenizer = AutoTokenizer.from_pretrained(model_id, use_auth_token=hf_token)
 tokenizer.pad_token = tokenizer.eos_token
 
+# Ініціалізація Accelerator для оптимізації використання пам'яті
+accelerator = Accelerator()
+
 # Завантажуємо модель на CPU з використанням автентифікації
 model = AutoModelForCausalLM.from_pretrained(
     model_id,
     device_map="cpu",  # Завантажуємо модель на CPU
-    use_auth_token=hf_token
+    use_auth_token=hf_token,
+    low_cpu_mem_usage=True
 )
 
+# Переведення моделі на пристрій
+model = accelerator.prepare(model)
+
 # Тепер ви можете використовувати модель для генерації тексту, наприклад:
 input_text = "Hello, how are you?"
 inputs = tokenizer(input_text, return_tensors="pt")