app.py

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "meta-llama/Llama-2-7b-chat"

# Завантажуємо токенайзер з використанням авторизації
tokenizer = AutoTokenizer.from_pretrained(model_name, use_auth_token=True)

# Завантажуємо модель з використанням авторизації
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    use_auth_token=True,
    torch_dtype=torch.float32,  # Використання full precision для CPU
    device_map=None  # Вимкнення автоматичного розподілу по GPU
)

# Тестове введення
input_text = "Hello, how can I assist you today?"
inputs = tokenizer(input_text, return_tensors="pt")

# Генерація тексту
output = model.generate(
    inputs["input_ids"],
    max_length=50,  # Максимальна довжина відповіді
    num_return_sequences=1,  # Кількість відповідей
    do_sample=True,  # Випадкове семплування для різноманіття
    temperature=0.7  # Регулювання "креативності"
)

# Декодуємо та виводимо результат
decoded_output = tokenizer.decode(output[0], skip_special_tokens=True)
print(f"\nВідповідь моделі: {decoded_output}")