app.py

import pandas as pd
import re
import json
from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline
import gradio as gr
import tempfile

def read_from_excel(file_path):
    df = pd.read_excel(file_path)
    items = df['object'].astype(str).tolist()  # تبدیل همه مقادیر به رشته
    return items

def preprocess_text(text):
    # حذف کاراکترهای غیرضروری و نرمال‌سازی متن
    text = text.replace('\u200c', ' ').strip()  # حذف نیم‌فاصله و فاصله‌های اضافی
    text = re.sub(r'\s+', ' ', text)  # حذف فاصله‌های تکراری
    return text

def extract_items_in_text(text, items):
    text = preprocess_text(text)
    found_items = set()  # استفاده از مجموعه برای جلوگیری از تکرار
    for item in items:
        item_normalized = preprocess_text(item)
        if item_normalized.lower() in text.lower():
            found_items.add(item_normalized)
    return list(found_items)

def compare_items(items_1, items_2):
    common_items = set()
    score = 0  # مقدار پیش‌فرض برای score
    for item1 in items_1:
        for item2 in items_2:
            words1 = set(item1.lower().split())
            words2 = set(item2.lower().split())
            common_words = words1.intersection(words2)
            num_common = len(common_words)
            
            if num_common >= 3:
                common_items.add((item1, item2))
                score = 100
            elif num_common == 2:
                common_items.add((item1, item2))
                score = 75
            elif num_common == 1:
                common_items.add((item1, item2))
                score = 50
    
    return score, common_items

def compare_skills(skill_1, skill_2):
    common_skill = set(skill_1).intersection(set(skill_2))
    num_common = len(common_skill)
    
    if num_common >= 10:
        score = 100
    elif num_common == 7:
        score = 75
    elif num_common == 5:
        score = 50
    else:
        score = 25
    
    return score, common_skill

def extract_ner_info(text, nlp):
    ner_results = nlp(text)
    full_name = ''
    loc = ''
    age = None

    for i in range(len(ner_results)):
        if ner_results[i]['entity'] == 'B-pers':
            full_name = ner_results[i]['word']
            for j in range(i+1, len(ner_results)):
                if ner_results[j]['entity'].startswith('I-pers'):
                    full_name += ner_results[j]['word'].replace('##', '')
                else:
                    break
        
        if ner_results[i]['entity'] == 'I-fac' and not loc:
            loc = ner_results[i]['word']

    age_match = re.search(r'سن\s*:\s*(\d+)', text)
    if age_match:
        age = int(age_match.group(1))
    
    return full_name, loc, age


def process_text(input_text):
    # مسیر فایل اکسل‌ها را وارد کنید
    job_excel_file_path = 'jobs_output.xlsx'
    education_excel_file_path = 'education_output.xlsx'
    skills_excel_file_path = 'N_F_skill_output.xlsx'
    # خواندن شغل‌ها، تحصیلات و مهارت‌ها از فایل‌های اکسل
    jobs = read_from_excel(job_excel_file_path)
    education = read_from_excel(education_excel_file_path)
    skills = read_from_excel(skills_excel_file_path)
    
    # متن ثابت
    fixed_text = """استخدام کارآموز هوش مصنوعی (AI-شیراز)

دسته‌بندی شغلی
وب،‌ برنامه‌نویسی و نرم‌افزار
موقعیت مکانی
فارس ، شیراز
نوع همکاری
تمام وقت کارآموزی
حداقل سابقه کار
مهم نیست
حقوق
توافقی
شرح موقعیت شغلی
شرکت تاو سیستم واقع در (شیراز - صدرا - خیابان البرز) در راستای تکمیل تیم نرم افزاری خود در نظر دارد دوره کارآموزی رایگان از مبتدی تا حرفه ای برای افراد پر انرژی و فعال برگزار کند.
هدف از این دوره آماده کردن نیروها جهت جذب در شرکت تاو سیستم است.
اگر فرد فعال و پر انرژی هستید و در جهت پیشرفت خود تلاش زیادی می کنید، ما منتظر شما هستیم....
Machine Leaning
Deep learning
machine Leaning
deep learning


نحوه برگزاری:
دوره به مدت 4 ماه (سه روز در هفته) به صورت کلاس آموزشی برگزار می شود.
شرکت در (شیراز - صدرا - خیابان البرز) واقع شده و دوره آموزشی به صورت حضوری برگزار می شود.
شما در طول دوره توسط مدرس مورد ارزیابی مستمر قرار میگیرید و در صورت عدم توانایی شما برای ادامه دوره، به شما اعلام می شود و از دوره کنار گذاشته میشوید.
در انتهای دوره پروژه ای تستی با توجه به مسائلی که در دوره یاد گرفته اید برای شما تعریف می شود و برای انجام آن دو هفته فرصت دارید.
در صورت تایید پروژه شما توسط مدرس دوره، با شما قرارداد بسته می شود و به صورت حضوری در شرکت مشغول به فعالیت می شوید.

***لطفا در صورت داشتن همه (شرایط عمومی) زیر، رزومه خود را ارسال کنید.***



شرایط عمومی:
۱. آشنایی مقدماتی با زبان برنامه نویسی پایتون
۲. سطح زبان انگلیسی متوسط به بالا (توانایی درک متون انگلیسی تخصصی)
۳. آشنایی مقدماتی با الگوریتم های هوش مصنوعی (یادگیری ماشین، یادگیری عمیق )
۴. آشنایی با پایگاه داده مقدماتی
۵- امکان شرکت در دوره ها به صورت حضوری در آدرس (شیراز - صدرا - خیابان البرز)
۶- امکان گذاشتن وقت در خارج از تایم کلاس ها جهت انجام تمرینات
۷- امکان همکاری به صورت تمام وقت و حضوری در صورت قبولی در انتهای دوره (40 ساعت در هفته)
۸- از پذیرش دانشجو و افراد که شاغل هستند و یا اینکه در آینده درخواست کار به صورت ریموت دارند معذوریم.
۹- سن بین 18 الی 30 سال
۱۰- علاقه مند به یادگیری و به روز رسانی دانش فردی
۱۱- خلاق، پویا، با انگیزه و سرعت عملکرد بالا
۱۲- منظم و مسئولیت پذیر



مهارت‌های امتیازی:
۱. آشنایی با با زبان برنامه نویسی پایتون در حد پیشرفته 
۲. آشنایی با فریم ورک های pytorch , tensorflow 
۳. آشنایی با کتاب خانه های numpy, pandas, matplotlib, sklearn ..
۴. آشنایی با data mining 
۵. آشنایی با اصول solid 
۶. آشنایی با Clean architecture 
۷. آشنایی با Git , GitHub"""
    
    input_text = input_text.replace("آدرس", "")
    # استخراج شغل‌ها، تحصیلات و مهارت‌ها از متن‌ها
    jobs_in_fixed_text = extract_items_in_text(fixed_text, jobs)
    jobs_in_input_text = extract_items_in_text(input_text, jobs)
    education_in_fixed_text = extract_items_in_text(fixed_text, education)
    education_in_input_text = extract_items_in_text(input_text, education)
    skills_in_fixed_text = extract_items_in_text(fixed_text, skills)
    skills_in_input_text = extract_items_in_text(input_text, skills)
    
    # مقایسه و نمره‌دهی
    job_score, common_jobs = compare_items(jobs_in_fixed_text, jobs_in_input_text)
    education_score, common_education = compare_items(education_in_fixed_text, education_in_input_text)
    skill_score, common_skills = compare_skills(skills_in_fixed_text, skills_in_input_text)

    # تنظیم و آماده‌سازی مدل NER
    model_name_or_path = "NLPclass/Named-entity-recognition"
    tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
    model = AutoModelForTokenClassification.from_pretrained(model_name_or_path)  # Pytorch
    nlp = pipeline("ner", model=model, tokenizer=tokenizer)
    
    # استخراج اطلاعات NER
    full_name, loc, age = extract_ner_info(input_text, nlp)
    
    # نمره‌دهی لوکیشن
    fixed_loc = "شیراز"
    loc_score = 100 if loc == fixed_loc else 0

    # نمره‌دهی سن
    age_score = 100 if age and 18 <= age <= 30 else 0
    
    # محاسبه و نمایش میانگین نمرات
    average_score = (job_score + education_score + skill_score + loc_score + age_score) / 5
    
    # ساخت خروجی JSON
    output = {
        "average_score": average_score,
        "full_name": full_name,
        "age": age,
        "location": loc,
        "job_score": job_score,
        "education_score": education_score,
        "skill_score": skill_score,
        "loc_score": loc_score,
        "age_score": age_score,
        "common_jobs": list(common_jobs),
        "common_education": list(common_education),
        "common_skills": list(common_skills)
    }
    
    # ذخیره خروجی JSON در یک فایل موقت
    with tempfile.NamedTemporaryFile(delete=False, suffix=".json", mode='w', encoding='utf-8') as tmp_file:
        json.dump(output, tmp_file, ensure_ascii=False, indent=4)
        return tmp_file.name

iface = gr.Interface(
    fn=process_text,
    inputs=gr.Textbox(lines=10, placeholder="لطفاً متن خود را وارد کنید..."),
    outputs=gr.File(label="دانلود فایل JSON"),
    title="متن پرداز",
    description="این ابزار متن شما را پردازش کرده و امتیازات مشابهت را محاسبه می‌کند."
)

if __name__ == "__main__":
    iface.launch()