methodya commited on
Commit
0ecc230
·
verified ·
1 Parent(s): b02e147

Create app.py

Browse files
Files changed (1) hide show
  1. app.py +43 -0
app.py ADDED
@@ -0,0 +1,43 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import gradio as gr
2
+ from transformers import AutoModelForCausalLM, AutoTokenizer
3
+ import torch
4
+
5
+ model_name = "methodya/1stapproachDeepsekPhilo_v2"
6
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
7
+ model = AutoModelForCausalLM.from_pretrained(
8
+ model_name,
9
+ torch_dtype=torch.float32,
10
+ use_safetensors=True,
11
+ low_cpu_mem_usage=False
12
+ )
13
+
14
+ # تقليل طول المخرجات وتحسين السرعة
15
+ def generate_response(prompt):
16
+ system_prompt = "أنت مساعد متخصص في الفلسفة، تجيب عن الأسئلة بدقة وعمق، مع ربط المفاهيم ببعضها عند الحاجة."
17
+ full_prompt = f"{system_prompt}\n\nالسؤال: {prompt}\n\nالجواب:"
18
+
19
+ inputs = tokenizer(full_prompt, return_tensors="pt", truncation=True, max_length=256)
20
+
21
+ outputs = model.generate(
22
+ **inputs,
23
+ max_length=256, # تقليل الطول الأقصى
24
+ num_return_sequences=1,
25
+ temperature=0.7,
26
+ do_sample=False, # تعطيل العينات العشوائية
27
+ num_beams=1 # تعطيل beam search
28
+ )
29
+
30
+ response = tokenizer.decode(outputs[0], skip_special_tokens=True)
31
+ response = response.split("الجواب:")[-1].strip()
32
+ return response
33
+
34
+ # تعيين وقت timeout أطول
35
+ iface = gr.Interface(
36
+ fn=generate_response,
37
+ inputs=gr.Textbox(placeholder="اكتب سؤالك الفلسفي هنا..."),
38
+ outputs="text",
39
+ title="المساعد الفلسفي",
40
+ description="نموذج متخصص في الإجابة عن الأسئلة الفلسفية باللغة العربية"
41
+ )
42
+
43
+ iface.launch(server_name="0.0.0.0", server_port=7860)