Update app.py

app.py

@@ -10,9 +10,10 @@ import os
 #base_model_name = "unsloth/Mistral-7B-Instruct-v0.2"
 #sft_model = "somosnlp/RecetasDeLaAbuela_gemma-2b-it-bnb-4bit"
 sft_model = "somosnlp/RecetasDeLaAbuela5k_gemma-2b-bnb-4bit"
-base_model_name = "unsloth/gemma-2b-it-bnb-4bit"
+#base_model_name = "unsloth/gemma-2b-it-bnb-4bit"
+base_model_name = "unsloth/gemma-2b-bnb-4bit"
 
-max_seq_length=2000
+max_seq_length=700
 base_model = AutoModelForCausalLM.from_pretrained(base_model_name,return_dict=True,device_map="auto", torch_dtype=torch.float16,)
 tokenizer = AutoTokenizer.from_pretrained(base_model_name, max_length = max_seq_length)
 ft_model = PeftModel.from_pretrained(base_model, sft_model)
@@ -54,10 +55,8 @@ def generate_text(prompt, context, max_length=max_seq_length):
   max_new_tokens=max_length
   generation_config = GenerationConfig(
                 max_new_tokens=max_new_tokens,
-                temperature=0.32,
-                #top_p=0.9,
-                top_k=50, # 45
-                repetition_penalty=1.04,  #1.1
+                temperature=0.32, #top_p=0.9,top_k=50, # 45
+                repetition_penalty=1.3,  #1.1
                 do_sample=True,
             )
   outputs = model.generate(generation_config=generation_config, input_ids=inputs, stopping_criteria=stopping_criteria_list,)
@@ -72,14 +71,14 @@ def mostrar_respuesta(pregunta, contexto):
 
 # Ejemplos de preguntas
 mis_ejemplos = [
-    ["¿Dime la receta de la tortilla de patatatas?", "Cocinero español"],
-    ["¿Dime la receta del ceviche?", "Cocinero peruano"],
-    ["¿Como se cocinan unos autenticos frijoles?", "Cocinero de México"],
+    ["Ingredientes y pasos de la receta asado de cordero", "Cocinero español"],
+    ["Ingredientes y pasos de la receta ceviche", "Cocinero peruano"],
+    ["Ingredientes y pasos de la receta frijoles?", "Cocinero de México"],
 ]
 
 iface = gr.Interface(
     fn=mostrar_respuesta,
-    inputs=[gr.Textbox(label="Pregunta"), gr.Textbox(label="Contexto", value="Eres un experto cocinero hispanoamericano."),],
+    inputs=[gr.Textbox(label="Pregunta"), gr.Textbox(label="Contexto", value="Eres un agente experto en nutrición y cocina."),],
     outputs=[gr.Textbox(label="Respuesta", lines=2),],
     title="Recetas de la Abuel@",
     description="Introduce tu pregunta sobre recetas de cocina.",