methodya commited on
Commit
9cd6a38
·
verified ·
1 Parent(s): 0fe0ffc

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +5 -7
app.py CHANGED
@@ -7,18 +7,18 @@ model_name = "methodya/1stapproachDeepsekPhilo_v2"
7
  tokenizer = AutoTokenizer.from_pretrained(model_name)
8
  model = AutoModelForCausalLM.from_pretrained(
9
  model_name,
10
- device_map="auto",
11
- torch_dtype=torch.float16,
 
 
12
  )
13
 
14
  def generate_response(prompt):
15
- # إعداد المدخل بنفس الصيغة التي تم التدريب عليها
16
  system_prompt = "أنت مساعد متخصص في الفلسفة، تجيب عن الأسئلة بدقة وعمق، مع ربط المفاهيم ببعضها عند الحاجة."
17
  full_prompt = f"{system_prompt}\n\nالسؤال: {prompt}\n\nالجواب:"
18
 
19
- inputs = tokenizer(full_prompt, return_tensors="pt").to(model.device)
20
 
21
- # توليد الإجابة
22
  outputs = model.generate(
23
  **inputs,
24
  max_length=512,
@@ -29,12 +29,10 @@ def generate_response(prompt):
29
  )
30
 
31
  response = tokenizer.decode(outputs[0], skip_special_tokens=True)
32
- # استخراج الإجابة فقط (بعد "الجواب:")
33
  response = response.split("الجواب:")[-1].strip()
34
 
35
  return response
36
 
37
- # إنشاء واجهة Gradio
38
  iface = gr.Interface(
39
  fn=generate_response,
40
  inputs=gr.Textbox(placeholder="اكتب سؤالك الفلسفي هنا..."),
 
7
  tokenizer = AutoTokenizer.from_pretrained(model_name)
8
  model = AutoModelForCausalLM.from_pretrained(
9
  model_name,
10
+ device_map=None, # تعطيل device_map
11
+ torch_dtype=torch.float32, # استخدام float32 بدل float16
12
+ use_safetensors=True, # استخدام safetensors بدل pytorch
13
+ low_cpu_mem_usage=False # تعطيل low_cpu_mem_usage
14
  )
15
 
16
  def generate_response(prompt):
 
17
  system_prompt = "أنت مساعد متخصص في الفلسفة، تجيب عن الأسئلة بدقة وعمق، مع ربط المفاهيم ببعضها عند الحاجة."
18
  full_prompt = f"{system_prompt}\n\nالسؤال: {prompt}\n\nالجواب:"
19
 
20
+ inputs = tokenizer(full_prompt, return_tensors="pt")
21
 
 
22
  outputs = model.generate(
23
  **inputs,
24
  max_length=512,
 
29
  )
30
 
31
  response = tokenizer.decode(outputs[0], skip_special_tokens=True)
 
32
  response = response.split("الجواب:")[-1].strip()
33
 
34
  return response
35
 
 
36
  iface = gr.Interface(
37
  fn=generate_response,
38
  inputs=gr.Textbox(placeholder="اكتب سؤالك الفلسفي هنا..."),