Update app.py

app.py

@@ -1,9 +1,10 @@
 import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer
 
+
 # Chemin vers le dossier contenant les fichiers du modèle (.bin, tokenizer)
 MODEL_PATH = "TOOTLE/Gemma_instruct_model_gguf"  # Remplace par le chemin réel de ton modèle
-
+alpaca_prompt = """Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request."""
 # Charger le modèle avec quantization pour économiser de la mémoire (par exemple, FP16)
 model = AutoModelForCausalLM.from_pretrained(MODEL_PATH, torch_dtype="float16", device_map="auto")
 tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
@@ -12,7 +13,7 @@ tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
 def chatbot_response(prompt):
     # Encoder l'entrée
     print(prompt)
-    inputs = tokenizer(prompt, return_tensors="pt", truncation=True, padding=True)
+    inputs = tokenizer(prompt+alpaca_prompt, return_tensors="pt", truncation=True, padding=True)
     print(input)
     # Générer la réponse avec le modèle
     outputs = model.generate(inputs["input_ids"], max_new_tokens=128)