Update app.py

app.py

@@ -69,8 +69,9 @@ TEMPLATES = {
     }
 }
 
+# Mudança principal na classe do gerador para usar um modelo mais leve
 class EnhancedPromptGenerator:
-    def __init__(self, model_name: str = "beomi/llama-2-ko-7b"):
+    def __init__(self, model_name: str = "neuralmind/bert-base-portuguese-cased"):
         self.model_name = model_name
         self.load_model()
         
@@ -83,7 +84,7 @@ class EnhancedPromptGenerator:
                 use_fast=True
             )
             self.model = AutoModelForCausalLM.from_pretrained(
-                self.model_name,
+                "microsoft/phi-2",  # Modelo mais leve e eficiente
                 torch_dtype=torch.float16,
                 device_map="auto",
                 low_cpu_mem_usage=True
@@ -94,9 +95,14 @@ class EnhancedPromptGenerator:
             raise
 
     def generate_with_model(self, prompt: str, config: PromptConfig = PromptConfig()) -> str:
-        """Gera texto usando o modelo com configurações avançadas"""
+        """Gera texto usando o modelo com configurações otimizadas"""
         try:
-            inputs = self.tokenizer(prompt, return_tensors="pt").to(self.model.device)
+            # Adiciona contexto em português
+            enhanced_prompt = f"""
+            Por favor, gere um texto em português de acordo com as instruções:
+            {prompt}
+            """
+            inputs = self.tokenizer(enhanced_prompt, return_tensors="pt").to(self.model.device)
             
             outputs = self.model.generate(
                 **inputs,
@@ -105,7 +111,9 @@ class EnhancedPromptGenerator:
                 top_p=config.top_p,
                 repetition_penalty=config.repetition_penalty,
                 do_sample=True,
-                pad_token_id=self.tokenizer.eos_token_id
+                pad_token_id=self.tokenizer.eos_token_id,
+                num_beams=4,  # Melhor qualidade para português
+                early_stopping=True
             )
             
             return self.tokenizer.decode(outputs[0], skip_special_tokens=True)
@@ -113,7 +121,7 @@ class EnhancedPromptGenerator:
         except Exception as e:
             logging.error(f"Erro na geração: {e}")
             return f"Erro na geração: {str(e)}"
-
+            
 generator = EnhancedPromptGenerator()
 
 def get_suggestions(categoria: str, subcategoria: str) -> List[str]: