init commit

app.py

@@ -1,40 +1,38 @@
-from transformers import LlamaForCausalLM, LlamaTokenizer
-import torch
 import os
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import torch
+from transformers import BitsAndBytesConfig
 
-# Отримуємо токен із змінної середовища
+# Завантажуємо токен автентифікації з змінної середовища
 hf_token = os.getenv("HF_API_TOKEN")
 
-if not hf_token:
-    raise ValueError("HF_API_TOKEN environment variable is not set")
+# Ідентифікатор моделі
+model_id = "meta-llama/Llama-2-7b-hf"
 
-# Шлях до файлу моделі
-model_path = "path_to_downloaded_model/consolidated.00.pth"  # Вкажіть правильний шлях
+# Налаштування для BitsAndBytes
+bnb_config = BitsAndBytesConfig(
+    load_in_4bit=True,
+    bnb_4bit_use_double_quant=True,
+    bnb_4bit_quant_type="nf4",
+    bnb_4bit_compute_dtype=torch.bfloat16
+)
 
-# Завантажуємо токенізатор
-tokenizer = LlamaTokenizer.from_pretrained("meta-llama/Llama-2-7b-chat", token=hf_token)
+# Завантажуємо токенізатор з Hugging Face
+tokenizer = AutoTokenizer.from_pretrained(model_id, use_auth_token=hf_token)
+tokenizer.pad_token = tokenizer.eos_token
 
-# Завантажуємо модель з файлу
-model = LlamaForCausalLM.from_pretrained(
-    model_path,
-    config="path_to_model/config.json",  # Якщо є конфігураційний файл
-    torch_dtype=torch.float32,  # Використання full precision для CPU
-    device_map="auto"  # Для автоматичного розподілу на доступні пристрої
+# Завантажуємо модель на CPU з використанням автентифікації
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="cpu",  # Завантажуємо модель на CPU
+    use_auth_token=hf_token
 )
 
-# Тестове введення
-input_text = "Hello, how can I assist you today?"
+# Тепер ви можете використовувати модель для генерації тексту, наприклад:
+input_text = "Hello, how are you?"
 inputs = tokenizer(input_text, return_tensors="pt")
+outputs = model.generate(inputs["input_ids"])
 
-# Генерація тексту
-output = model.generate(
-    inputs["input_ids"],
-    max_length=50,  # Максимальна довжина відповіді
-    num_return_sequences=1,  # Кількість відповідей
-    do_sample=True,  # Випадкове семплування для різноманіття
-    temperature=0.7  # Регулювання "креативності"
-)
-
-# Декодуємо та виводимо результат
-decoded_output = tokenizer.decode(output[0], skip_special_tokens=True)
-print(f"\nВідповідь моделі: {decoded_output}")
+# Перетворюємо вихідний тензор в текст
+generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+print(generated_text)

requirements.txt

@@ -1,4 +1,3 @@
-transformers>=4.0.0
-huggingface_hub>=0.0.18
-torch>=1.8.0
-sentencepiece>=0.1.96
+transformers==4.40.0
+torch==2.1.0
+accelerate==0.20.3