update app.py

app.py

@@ -1,23 +1,18 @@
 import gradio as gr
-from transformers import pipeline
+from llama_cpp import Llama
 
-# 加载 Hugging Face 预训练模型
-model_name = "YLX1965/medical-model"  # 你的模型名称
-pipe = pipeline("text-generation", model=model_name)
+# 加载 GGUF 模型（替换成你的模型路径）
+model_path = "YLX1965/medical-model/unsloth.Q8_0.gguf"
 
-# 定义 Gradio 交互函数
-def generate_text(prompt):
-    result = pipe(prompt, max_length=200)[0]["generated_text"]
-    return result
+llm = Llama(model_path=model_path)
+
+def chat(prompt):
+    output = llm(prompt, max_tokens=200)
+    return output["choices"][0]["text"]
 
 # 创建 Gradio 界面
-interface = gr.Interface(
-    fn=generate_text,
-    inputs="text",
-    outputs="text",
-    title="Medical Text Generation",
-    description="输入医疗相关的文本，模型将自动补全内容。",
-)
+interface = gr.Interface(fn=chat, inputs="text", outputs="text",
+                         title="Medical Chatbot",
+                         description="使用 GGUF 量化模型进行医疗文本生成")
 
-# 运行 Gradio 应用
 interface.launch()