init commit

app.py

@@ -1,53 +1,36 @@
-import os
-from transformers import LlamaTokenizer, LlamaForCausalLM
+from transformers import AutoModelForCausalLM, AutoTokenizer
 import torch
 
-# Налаштування шляхів
-repo_path = "meta-llama/Llama-2-7b-chat"  # Локальний шлях до моделі
-config_path = os.path.join(repo_path, "config.json")
-tokenizer_path = os.path.join(repo_path, "tokenizer.model")
-
-# Перевірка наявності необхідних файлів
-if not os.path.exists(repo_path):
-    raise FileNotFoundError(f"The specified repository path does not exist: {repo_path}")
-
-required_files = ["config.json", "tokenizer.model", "consolidated.00.pth", "params.json"]
-for file in required_files:
-    if not os.path.exists(os.path.join(repo_path, file)):
-        raise FileNotFoundError(f"Missing required file in {repo_path}: {file}")
-
-# Завантаження токенізатора
-print("Loading tokenizer...")
-tokenizer = LlamaTokenizer(vocab_file=tokenizer_path)
-print("Tokenizer loaded successfully!")
-
-# Завантаження моделі
-print("Loading model...")
-device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
-
-model = LlamaForCausalLM.from_pretrained(
-    repo_path,
-    torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
-    low_cpu_mem_usage=True,
-)
-model = model.to(device)
-print("Model loaded successfully!")
+def main():
+    # Завантажуємо токенайзер
+    model_name = "meta-llama/Llama-2-7b-chat"
+    print(f"Завантажуємо модель {model_name}...")
+    
+    tokenizer = AutoTokenizer.from_pretrained(model_name)
+
+    # Завантажуємо модель
+    model = AutoModelForCausalLM.from_pretrained(
+        model_name,
+        torch_dtype=torch.float32,  # Використання full precision для CPU
+        device_map=None  # Вимкнення автоматичного розподілу по GPU
+    )
 
-# Приклад використання
-input_text = "Привіт! Як ти себе почуваєш сьогодні?"
-inputs = tokenizer(input_text, return_tensors="pt").to(device)
+    # Тестове введення
+    input_text = "Hello, how can I assist you today?"
+    inputs = tokenizer(input_text, return_tensors="pt")
 
-print("Generating response...")
-with torch.no_grad():
-    outputs = model.generate(
+    # Генерація тексту
+    output = model.generate(
         inputs["input_ids"],
-        max_length=100,
-        temperature=0.7,
-        top_k=50,
-        top_p=0.9,
-        do_sample=True,
+        max_length=50,  # Максимальна довжина відповіді
+        num_return_sequences=1,  # Кількість відповідей
+        do_sample=True,  # Випадкове семплування для різноманіття
+        temperature=0.7  # Регулювання "креативності"
     )
 
-response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-print("Response:")
-print(response)
+    # Декодуємо та виводимо результат
+    decoded_output = tokenizer.decode(output[0], skip_special_tokens=True)
+    print(f"\nВідповідь моделі: {decoded_output}")
+
+if __name__ == "__main__":
+    main()

requirements.txt

@@ -1,5 +1,2 @@
-torch==1.13.1
-transformers==4.30.0
-gradio==3.22.0
-huggingface-hub>=0.13.0
-sentencepiece
+transformers==4.33.0
+torch==2.0.1