Update app.py

app.py

@@ -1,9 +1,10 @@
 import pandas as pd
 import streamlit as st
+import numpy as np
 
 # Загрузка данных из четырех Excel файлов
-vacancy = 'vacancy_new_new.xlsx'
-resume = 'resume_new_new.xlsx'
+vacancy = 'vacancy_new.xlsx'
+resume = 'resume_new.xlsx'
 file_nkz = 'label_NKZ.xlsx'
 file_skills = 'label_skills_new.xlsx'
 
@@ -13,11 +14,11 @@ df_nkz = pd.read_excel(file_nkz)
 df_skills = pd.read_excel(file_skills)
 
 # Проверка, что в файлах есть нужные колонки
-if 'skills' not in df_vacancy.columns or 'skills' not in df_resume.columns or 'name' not in df_vacancy.columns or 'name' not in df_resume.columns or 'NKZ' not in df_nkz.columns or 'skills' not in df_skills.columns:
-    raise ValueError("Файлы должны содержать колонки 'skills', 'name' и 'NKZ'")
+if 'skills' not in df_vacancy.columns or 'skills' not in df_resume.columns or 'name' not in df_vacancy.columns or 'name' not in df_resume.columns or 'NKZ' not in df_nkz.columns or 'skills' not in df_skills.columns or 'id' not in df_skills.columns:
+    raise ValueError("Файлы должны содержать колонки 'skills', 'name', 'NKZ' и 'id'")
 
 # Streamlit интерфейс
-st.title("Поиск совпадений по навыкам")
+st.title("Поиск совпадений по навыкам на основе корреляции")
 
 # Ввод текста для добавления в колонку 'name'
 new_name = st.text_input("Введите название")
@@ -28,76 +29,52 @@ selected_nkz = st.selectbox("Выберите профессию по НКЗ", n
 
 # Множественный выбор из колонки 'skills' из файла label_skills
 skills_options = sorted(df_skills[df_skills['NKZ'] == df_nkz[df_nkz['name'] == selected_nkz]['NKZ'].values[0]]['skills'].unique().tolist())
-
 selected_skills = st.multiselect("Выберите навыки", skills_options)
 
+# Преобразование выбранных навыков в массив числовых значений
+if selected_skills:
+    selected_ids = df_skills[df_skills['skills'].isin(selected_skills)]['id'].tolist()
+else:
+    selected_ids = []
+
 # Выбор файла для поиска совпадений
 file_option = st.selectbox("Выберите тип", ("Вакансия", "Резюме"))
 
-# Выбор файла для записи новой записи
-write_option = "resume" if file_option == "Вакансия" else "vacancy"
+# Определение DataFrame для поиска совпадений
+if file_option == "Вакансия":
+    ids_to_compare = df_vacancy['skills'].apply(lambda x: [int(i) for i in x.split(',')]).tolist()
+    names_to_compare = df_vacancy['name'].tolist()
+else:
+    ids_to_compare = df_resume['skills'].apply(lambda x: [int(i) for i in x.split(',')]).tolist()
+    names_to_compare = df_resume['name'].tolist()
 
-# Кнопки для добавления новой записи и запуска поиска совпадений
-add_entry = st.button("Добавить новую запись")
-if add_entry:
-    if new_name and selected_skills:
-        new_entry = pd.DataFrame({'name': [new_name], 'NKZ': [selected_nkz], 'skills': [' '.join(selected_skills)]})
-        if write_option == "vacancy":
-            df_vacancy = pd.concat([df_vacancy, new_entry], ignore_index=True)
-            df_vacancy.to_excel(vacancy, index=False)
+# Вычисление корреляции для поиска сходства
+matching_results = []
+if selected_ids:
+    for i, ids_array in enumerate(ids_to_compare):
+        min_len = min(len(selected_ids), len(ids_array))
+        if min_len > 1:  # Для вычисления корреляции необходимо как минимум два элемента
+            correlation = np.corrcoef(selected_ids[:min_len], ids_array[:min_len])[0, 1]
         else:
-            df_resume = pd.concat([df_resume, new_entry], ignore_index=True)
-            df_resume.to_excel(resume, index=False)
-        st.success("Новая запись была успешно добавлена.")
-    else:
-        st.error("Пожалуйста, введите имя и выберите навыки для добавления записи.")
+            correlation = 0
+        if correlation > 0.5:
+            matching_results.append({
+                'Name': names_to_compare[i],
+                'Correlation': correlation
+            })
 
-if st.button("Найти совпадения"):
-    if new_name and selected_skills:
-        # Добавление новой записи в противоположный файл
-        new_entry = pd.DataFrame({'name': [new_name], 'NKZ': [selected_nkz], 'skills': [' '.join(selected_skills)]})
-        if write_option == "vacancy":
-            df_vacancy = pd.concat([df_vacancy, new_entry], ignore_index=True)
-            df_vacancy.to_excel(vacancy, index=False)
-        else:
-            df_resume = pd.concat([df_resume, new_entry], ignore_index=True)
-            df_resume.to_excel(resume, index=False)
-        
-        # Определение DataFrame для поиска совпадений
-        if file_option == "Вакансия":
-            skills_to_compare = df_vacancy['skills'].tolist()
-            names_to_compare = df_vacancy['name'].tolist()
-        else:
-            skills_to_compare = df_resume['skills'].tolist()
-            names_to_compare = df_resume['name'].tolist()
-        
-        # Поиск совпадений по навыкам
-        matching_results = []
-        for i, skills_text in enumerate(skills_to_compare):
-            match_count = sum(skill in skills_text for skill in selected_skills)
-            if match_count >= len(selected_skills) / 2:
-                matching_results.append({
-                    'Name': names_to_compare[i],
-                    'Matching Skills': [skill for skill in selected_skills if skill in skills_text],
-                    'Match Count': match_count
-                })
-        
-        # Вывод результатов, где совпадение как минимум половины выбранных навыков
-        st.write("Результаты с совпадением как минимум половины выбранных навыков:")
-        if matching_results:
-            for result in matching_results:
-                st.markdown(
-                f"""
-                <div style="border: 1px solid #ddd; padding: 10px; border-radius: 5px; margin-bottom: 10px;">
-                    <h4 style="margin: 0;">{result['Name']}</h4>
-                    <p><strong>Совпадающие навыки:</strong><br>
-                    {'<br>'.join(['• ' + skill for skill in result['Matching Skills']])}</p>
-                    <p><strong>Количество совпадений:</strong> {result['Match Count']}</p>
-                </div>
-                """,
-                unsafe_allow_html=True
-                )
-        else:
-            st.write("Нет совпадений с как минимум половиной выбранных навыков.")
-    else:
-        st.error("Пожалуйста, введите имя и выберите навыки для сравнения.")
+# Вывод результатов
+st.write("Результаты поиска на основе корреляции:")
+if matching_results:
+    for result in matching_results:
+        st.markdown(
+            f"""
+            <div style="border: 1px solid #ddd; padding: 10px; border-radius: 5px; margin-bottom: 10px;">
+                <h4 style="margin: 0;">{result['Name']}</h4>
+                <p><strong>Корреляция:</strong> {result['Correlation']:.2f}</p>
+            </div>
+            """,
+            unsafe_allow_html=True
+        )
+else:
+    st.write("Нет совпадений на основе корреляции с выбранными навыками.")