Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
@@ -7,18 +7,18 @@ model_name = "methodya/1stapproachDeepsekPhilo_v2"
|
|
7 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
8 |
model = AutoModelForCausalLM.from_pretrained(
|
9 |
model_name,
|
10 |
-
device_map=
|
11 |
-
torch_dtype=torch.float16
|
|
|
|
|
12 |
)
|
13 |
|
14 |
def generate_response(prompt):
|
15 |
-
# إعداد المدخل بنفس الصيغة التي تم التدريب عليها
|
16 |
system_prompt = "أنت مساعد متخصص في الفلسفة، تجيب عن الأسئلة بدقة وعمق، مع ربط المفاهيم ببعضها عند الحاجة."
|
17 |
full_prompt = f"{system_prompt}\n\nالسؤال: {prompt}\n\nالجواب:"
|
18 |
|
19 |
-
inputs = tokenizer(full_prompt, return_tensors="pt")
|
20 |
|
21 |
-
# توليد الإجابة
|
22 |
outputs = model.generate(
|
23 |
**inputs,
|
24 |
max_length=512,
|
@@ -29,12 +29,10 @@ def generate_response(prompt):
|
|
29 |
)
|
30 |
|
31 |
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
|
32 |
-
# استخراج الإجابة فقط (بعد "الجواب:")
|
33 |
response = response.split("الجواب:")[-1].strip()
|
34 |
|
35 |
return response
|
36 |
|
37 |
-
# إنشاء واجهة Gradio
|
38 |
iface = gr.Interface(
|
39 |
fn=generate_response,
|
40 |
inputs=gr.Textbox(placeholder="اكتب سؤالك الفلسفي هنا..."),
|
|
|
7 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
8 |
model = AutoModelForCausalLM.from_pretrained(
|
9 |
model_name,
|
10 |
+
device_map=None, # تعطيل device_map
|
11 |
+
torch_dtype=torch.float32, # استخدام float32 بدل float16
|
12 |
+
use_safetensors=True, # استخدام safetensors بدل pytorch
|
13 |
+
low_cpu_mem_usage=False # تعطيل low_cpu_mem_usage
|
14 |
)
|
15 |
|
16 |
def generate_response(prompt):
|
|
|
17 |
system_prompt = "أنت مساعد متخصص في الفلسفة، تجيب عن الأسئلة بدقة وعمق، مع ربط المفاهيم ببعضها عند الحاجة."
|
18 |
full_prompt = f"{system_prompt}\n\nالسؤال: {prompt}\n\nالجواب:"
|
19 |
|
20 |
+
inputs = tokenizer(full_prompt, return_tensors="pt")
|
21 |
|
|
|
22 |
outputs = model.generate(
|
23 |
**inputs,
|
24 |
max_length=512,
|
|
|
29 |
)
|
30 |
|
31 |
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
|
|
|
32 |
response = response.split("الجواب:")[-1].strip()
|
33 |
|
34 |
return response
|
35 |
|
|
|
36 |
iface = gr.Interface(
|
37 |
fn=generate_response,
|
38 |
inputs=gr.Textbox(placeholder="اكتب سؤالك الفلسفي هنا..."),
|