Update app.py

app.py

@@ -1,5 +1,6 @@
 import torch
 from transformers import AutoTokenizer, AutoModelForCausalLM
+import gradio as gr
 
 device = "cuda" if torch.cuda.is_available() else "cpu"
 
@@ -51,14 +52,17 @@ tokenizer = AutoTokenizer.from_pretrained(model_name, padding_side="left")
 tokenizer.pad_token = tokenizer.eos_token
 model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16).to(device)
 
+def respond_to_text(input_text):
+    outputs = inference([input_text], model, tokenizer)
+    return outputs[0]
+
+
 input_prompts = [
     "मैं अपने समय प्रबंधन कौशल को कैसे सुधार सकता हूँ? मुझे पांच बिंदु बताएं।",
     "मैं अपने समय प्रबंधन कौशल को कैसे सुधार सकता हूँ? मुझे पांच बिंदु बताएं और उनका वर्णन करें।",
 ]
-outputs = inference(input_prompts, model, tokenizer)
-print(outputs)
-
-
+iface = gr.Interface(fn=respond_to_text, inputs="text", outputs="text")
+iface.launch()
 
 
 # import gradio as gr