Update app.py

app.py

@@ -1,65 +1,57 @@
 import gradio as gr
-from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
-from sentence_transformers import SentenceTransformer
-import faiss
-
-# Use a smaller model for testing
-model_id = "mistralai/Mistral-7B-Instruct-v0.1"
-tokenizer = AutoTokenizer.from_pretrained(model_id)
-model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
-pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, max_new_tokens=512)
-
-# Embedding model
-embed_model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
-
-# Storage
-doc_texts = []
-index = None
-
-def add_documents(text_list):
-    global index, doc_texts
-    embeddings = embed_model.encode(text_list)
-    dim = embeddings.shape[1]
-    if index is None:
-        index = faiss.IndexFlatL2(dim)
-    index.add(embeddings)
-    doc_texts.extend(text_list)
-
-def retrieve_context(query, top_k=3):
-    if index is None or len(doc_texts) == 0:
-        return ""
-    query_emb = embed_model.encode([query])
-    D, I = index.search(query_emb, top_k)
-    return "\n\n".join([doc_texts[i] for i in I[0] if i < len(doc_texts)])
-
-def ask_bot(query):
-    context = retrieve_context(query)
-    prompt = f"Context:\n{context}\n\nQuestion: {query}\nAnswer:"
-    try:
-        response = pipe(prompt)[0]['generated_text']
-        return response.replace(prompt, "").strip()
-    except Exception as e:
-        return f"Error: {e}"
-
-def upload_file(file):
-    try:
-        text = file.read().decode("utf-8", errors="ignore")
-        add_documents([text])
-        return "File uploaded and indexed."
-    except Exception as e:
-        return f"Upload failed: {e}"
-
-with gr.Blocks() as demo:
-    with gr.Row():
-        chatbot = gr.Textbox(label="Chat with Aya")
-    with gr.Row():
-        output = gr.Textbox(label="Aya's Answer")
-    with gr.Row():
-        file_input = gr.File(label="Upload Document")
-        upload_btn = gr.Button("Upload")
-
-    upload_btn.click(upload_file, inputs=file_input, outputs=output)
-    chatbot.submit(ask_bot, inputs=chatbot, outputs=output)
-
-demo.launch()
-
+from huggingface_hub import InferenceClient
+import os
+
+client = InferenceClient(
+    "mann-e/Hormoz-8B",
+    token=os.environ.get("HF_TOKEN")
+)
+
+DEFAULT_SYSTEM_MESSAGE = (
+    "تو یک دستیار هوشمند استارتاپی به نام 'کارساز' هستی. "
+    "وظیفه‌ات بررسی و تحلیل ایده‌های کسب‌وکار است.\n"
+    "اگر پیام کاربر یک ایده کسب‌وکاری باشد:\n"
+    "1. ایده را خلاصه و بازنویسی کن.\n"
+    "2. اشکالات یا ضعف‌ها را بگو و پیشنهاد اصلاح بده.\n"
+    "3. به ایده نمره بده (0 تا 10).\n"
+    "4. درصد موفقیت تخمینی را بگو (0% تا 100%).\n"
+    "5. اگر می‌توانی، پیشنهاد بهبود بده.\n"
+    "اگر پیام کاربر سلام یا صحبت معمولی بود، مودبانه پاسخ بده و بگو آماده‌ همکاری هستی.\n"
+    "جواب‌ها باید دقیق، فارسی و قابل فهم باشند."
+)
+
+
+def format_prompt(history, user_input, system_message):
+    prompt = f"<|system|>\n{system_message.strip()}\n<|user|>\n"
+    for user, assistant in history:
+        if user:
+            prompt += f"{user}\n<|assistant|>\n{assistant}\n<|user|>\n"
+    prompt += f"{user_input}\n<|assistant|>\n"
+    return prompt
+
+
+def respond(message, history, system_message, max_tokens, temperature, top_p):
+    prompt = format_prompt(history, message, system_message or DEFAULT_SYSTEM_MESSAGE)
+    response = ""
+    for token in client.text_generation(
+        prompt,
+        max_new_tokens=max_tokens,
+        stream=True,
+        temperature=temperature,
+        top_p=top_p,
+    ):
+        response += token
+        yield response
+
+
+demo = gr.ChatInterface(
+    fn=respond,
+    chatbot=gr.Chatbot(label="دستیار هوشمند کارساز"),
+    additional_inputs=[
+        gr.Textbox(value=DEFAULT_SYSTEM_MESSAGE, label="پیام سیستمی (قابل تنظیم)"),
+        gr.Slider(minimum=100, maximum=2048, value=512, step=10, label="تعداد توکن‌ها"),
+        gr.Slider(minimum=0.1, maximum=2.0, value=0.7, step=0.1, label="Temperature"),
+        gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p"),
+    ],
+    title="💡 دستیار استارتاپی کارساز",
+    description="سلام! من کارساز هستم، دستیار هوشمند شما برای ایده‌یابی، مشاوره استارتاپی، جذب سرمایه و تنظیم قرارداد. سوالت رو