Update app.py

app.py

@@ -18,12 +18,14 @@ rope_scaling = {
     "factor": 8.0     # Factor de escalado
 }
 
+
+# Cargar manualmente el modelo Llama 3.1 con la configuración ajustada
+model_name = "meta-llama/llama-3.1-8b-instruct"
+
 # Configurar el modelo con rope_scaling
 config = AutoConfig.from_pretrained(model_name)
 config.rope_scaling = rope_scaling  # Aquí aplicas la configuración
 
-# Cargar manualmente el modelo Llama 3.1 con la configuración ajustada
-model_name = "meta-llama/llama-3.1-8b-instruct"
 model = AutoModelForCausalLM.from_pretrained(model_name, config=config)
 tokenizer = AutoTokenizer.from_pretrained(model_name)