Update app.py

app.py

@@ -1,7 +1,15 @@
 import gradio as gr
-from transformers import AutoTokenizer, AutoModelForCausalLM
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
 import torch
 
+# Configuração da quantização
+quantization_config = BitsAndBytesConfig(
+    load_in_4bit=True,  # ou use True para 4-bit
+    bnb_4bit_compute_dtype=torch.float16,
+    bnb_4bit_use_double_quant=True,
+    bnb_4bit_quant_type="nf4"
+)
+
 # Inicializa o modelo e tokenizer
 model_name = "Orenguteng/Llama-3-8B-Lexi-Uncensored"
 tokenizer = AutoTokenizer.from_pretrained(model_name)
@@ -9,7 +17,7 @@ model = AutoModelForCausalLM.from_pretrained(
     model_name,
     torch_dtype=torch.float16,
     device_map="auto",
-    load_in_8bit=True  # Isso ajuda a reduzir o uso de memória
+    quantization_config=quantization_config
 )
 
 def generate_text(prompt):