Update app.py

app.py

@@ -1,8 +1,9 @@
 import pandas as pd
 import streamlit as st
 import numpy as np
+from scipy.stats import pearsonr
 
-# Загрузка данных из четырех Excel файлов
+# Загрузка данных из Excel файлов
 vacancy = 'vacancy_new_new.xlsx'
 resume = 'resume_new_new.xlsx'
 file_nkz = 'label_NKZ.xlsx'
@@ -14,7 +15,10 @@ df_nkz = pd.read_excel(file_nkz)
 df_skills = pd.read_excel(file_skills)
 
 # Проверка, что в файлах есть нужные колонки
-
+required_columns = {'skills', 'name', 'NKZ', 'id'}
+for df, fname in zip([df_vacancy, df_resume, df_nkz, df_skills], [vacancy, resume, file_nkz, file_skills]):
+    if not required_columns.intersection(df.columns):
+        raise ValueError(f"Файл {fname} должен содержать колонки {required_columns}")
 
 # Streamlit интерфейс
 st.title("Поиск совпадений по навыкам")
@@ -27,58 +31,48 @@ nkz_options = df_nkz['name'].unique().tolist()
 selected_nkz = st.selectbox("Выберите профессию по НКЗ", nkz_options)
 
 # Множественный выбор из колонки 'skills' из файла label_skills
-if selected_nkz:
-    skills_options = df_skills[df_skills['NKZ'] == df_nkz[df_nkz['name'] == selected_nkz]['NKZ'].values[0]]['skills'].unique().tolist()
-    selected_skills = st.multiselect("Выберите навыки", sorted(skills_options))
-else:
-    selected_skills = []
+skills_options = sorted(df_skills[df_skills['NKZ'] == df_nkz[df_nkz['name'] == selected_nkz]['NKZ'].values[0]]['skills'].unique().tolist())
+selected_skills = st.multiselect("Выберите навыки", skills_options)
 
 # Выбор файла для поиска совпадений
 file_option = st.selectbox("Выберите тип", ("Вакансия", "Резюме"))
 
-# Выбор файла для записи новой записи
-write_option = "resume" if file_option == "Вакансия" else "vacancy"
-
 # Кнопки для добавления новой записи и запуска поиска совпадений
-add_entry = st.button("Добавить новую запись")
-if add_entry:
-    if new_name and selected_skills:
-        new_entry = pd.DataFrame({'name': [new_name], 'NKZ': [selected_nkz], 'skills': [', '.join(selected_skills)]})
-        if write_option == "vacancy":
-            df_vacancy = pd.concat([df_vacancy, new_entry], ignore_index=True)
-            df_vacancy.to_excel(vacancy, index=False)
-        else:
-            df_resume = pd.concat([df_resume, new_entry], ignore_index=True)
-            df_resume.to_excel(resume, index=False)
-        st.success("Новая запись была успешно добавлена.")
-    else:
-        st.error("Пожалуйста, введите имя и выберите навыки для добавления записи.")
-
 if st.button("Найти совпадения"):
     if new_name and selected_skills:
         # Определение DataFrame для поиска совпадений
-        if file_option == "Вакансия":
-            df_to_compare = df_vacancy
-        else:
-            df_to_compare = df_resume
+        df_to_search = df_vacancy if file_option == "Вакансия" else df_resume
+        skills_ids = df_skills[df_skills['skills'].isin(selected_skills)]['id'].values
+
+        # Преобразование в array для поиска
+        selected_skills_array = np.array(skills_ids, dtype=int)
 
-        # Поиск совпадений по навыкам
+        # Поиск совпадений по методу correlation
         matching_results = []
-        for i, row in df_to_compare.iterrows():
-            existing_skills = row['skills'].split(', ')
-            match_count = sum(skill in existing_skills for skill in selected_skills)
-            if match_count >= len(selected_skills) / 2:
-                matching_results.append({
-                    'Name': row['name'],
-                    'Matching Skills': [skill for skill in selected_skills if skill in existing_skills],
-                    'Match Count': match_count
-                })
+        for index, row in df_to_search.iterrows():
+            if 'arr' in row and isinstance(row['arr'], str):
+                arr_values = np.array([int(x) for x in row['arr'].split(',')], dtype=int)
+                correlation, _ = pearsonr(selected_skills_array, arr_values)
+                if correlation > 0.5:
+                    matching_results.append({
+                        'Name': row['name'],
+                        'Correlation': correlation
+                    })
 
-        # Вывод результатов
+        # Вывод результатов, где совпадение больше 50%
+        st.write("Результаты с совпадением более 50%:")
         if matching_results:
-            st.write("Результаты с совпадением как минимум половины выбранных навыков:")
-            st.write(pd.DataFrame(matching_results))
+            for result in matching_results:
+                st.markdown(
+                    f"""
+                    <div style="border: 1px solid #ddd; padding: 10px; border-radius: 5px; margin-bottom: 10px;">
+                        <h4 style="margin: 0;">{result['Name']}</h4>
+                        <p><strong>Коэффициент совпадения:</strong> {result['Correlation']:.2f}</p>
+                    </div>
+                    """,
+                    unsafe_allow_html=True
+                )
         else:
-            st.write("Нет совпадений с как минимум половиной выбранных навыков.")
+            st.write("Нет совпадений с коэффициентом совпадения более 50%.")
     else:
         st.error("Пожалуйста, введите имя и выберите навыки для сравнения.")