Update app.py

app.py

@@ -4,7 +4,7 @@ from huggingface_hub import InferenceClient
 """
 For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
 """
-client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
+client = InferenceClient("ContactDoctor/Bio-Medical-MultiModal-Llama-3-8B-V1")
 
 
 def respond(
@@ -27,15 +27,15 @@ def respond(
 
     response = ""
 
-    for message in client.chat_completion(
-        messages,
-        max_tokens=max_tokens,
+    for message in client.text_generation(
+        prompt=message,
+        max_new_tokens=max_tokens,
         stream=True,
         temperature=temperature,
         top_p=top_p,
+        do_sample=True,
     ):
-        token = message.choices[0].delta.content
-
+        token = message.token.text
         response += token
         yield response
 
@@ -46,7 +46,10 @@ For information on how to customize the ChatInterface, peruse the gradio docs: h
 demo = gr.ChatInterface(
     respond,
     additional_inputs=[
-        gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
+        gr.Textbox(
+            value="Bạn là bác sĩ đa khoa với 20 năm kinh nghiệm. Hãy trả lời ngắn gọn, dễ hiểu và chuyên nghiệp. Khi không chắc chắn, hãy đề xuất thăm khám trực tiếp. Giới hạn câu trả lời trong 400 ký tự.", 
+            label="System message"
+        ),
         gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
         gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
         gr.Slider(