init commit

app.py

@@ -1,36 +1,31 @@
 from transformers import AutoModelForCausalLM, AutoTokenizer
-import torch
 
-def main():
-    # Завантажуємо токенайзер
-    model_name = "meta-llama/Llama-2-7b-chat"
-    print(f"Завантажуємо модель {model_name}...")
-    
-    tokenizer = AutoTokenizer.from_pretrained(model_name)
+model_name = "meta-llama/Llama-2-7b-chat"
 
-    # Завантажуємо модель
-    model = AutoModelForCausalLM.from_pretrained(
-        model_name,
-        torch_dtype=torch.float32,  # Використання full precision для CPU
-        device_map=None  # Вимкнення автоматичного розподілу по GPU
-    )
+# Завантажуємо токенайзер з використанням авторизації
+tokenizer = AutoTokenizer.from_pretrained(model_name, use_auth_token=True)
 
-    # Тестове введення
-    input_text = "Hello, how can I assist you today?"
-    inputs = tokenizer(input_text, return_tensors="pt")
+# Завантажуємо модель з використанням авторизації
+model = AutoModelForCausalLM.from_pretrained(
+    model_name,
+    use_auth_token=True,
+    torch_dtype=torch.float32,  # Використання full precision для CPU
+    device_map=None  # Вимкнення автоматичного розподілу по GPU
+)
 
-    # Генерація тексту
-    output = model.generate(
-        inputs["input_ids"],
-        max_length=50,  # Максимальна довжина відповіді
-        num_return_sequences=1,  # Кількість відповідей
-        do_sample=True,  # Випадкове семплування для різноманіття
-        temperature=0.7  # Регулювання "креативності"
-    )
+# Тестове введення
+input_text = "Hello, how can I assist you today?"
+inputs = tokenizer(input_text, return_tensors="pt")
 
-    # Декодуємо та виводимо результат
-    decoded_output = tokenizer.decode(output[0], skip_special_tokens=True)
-    print(f"\nВідповідь моделі: {decoded_output}")
+# Генерація тексту
+output = model.generate(
+    inputs["input_ids"],
+    max_length=50,  # Максимальна довжина відповіді
+    num_return_sequences=1,  # Кількість відповідей
+    do_sample=True,  # Випадкове семплування для різноманіття
+    temperature=0.7  # Регулювання "креативності"
+)
 
-if __name__ == "__main__":
-    main()
+# Декодуємо та виводимо результат
+decoded_output = tokenizer.decode(output[0], skip_special_tokens=True)
+print(f"\nВідповідь моделі: {decoded_output}")