app.py

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

def main():
    # Завантажуємо токенайзер
    model_name = "meta-llama/Llama-2-7b-chat"
    print(f"Завантажуємо модель {model_name}...")
    
    tokenizer = AutoTokenizer.from_pretrained(model_name)

    # Завантажуємо модель
    model = AutoModelForCausalLM.from_pretrained(
        model_name,
        torch_dtype=torch.float32,  # Використання full precision для CPU
        device_map=None  # Вимкнення автоматичного розподілу по GPU
    )

    # Тестове введення
    input_text = "Hello, how can I assist you today?"
    inputs = tokenizer(input_text, return_tensors="pt")

    # Генерація тексту
    output = model.generate(
        inputs["input_ids"],
        max_length=50,  # Максимальна довжина відповіді
        num_return_sequences=1,  # Кількість відповідей
        do_sample=True,  # Випадкове семплування для різноманіття
        temperature=0.7  # Регулювання "креативності"
    )

    # Декодуємо та виводимо результат
    decoded_output = tokenizer.decode(output[0], skip_special_tokens=True)
    print(f"\nВідповідь моделі: {decoded_output}")

if __name__ == "__main__":
    main()