Update app.py

app.py

@@ -85,25 +85,27 @@ def htmlToDataframe(htmlTable):
 def getSavoirFaireFromHTMLMetier(url):
   response = requests.get(url)
   soup = BeautifulSoup(response.text, "html.parser")
-  allSavoirFaire = soup.select('ul[data-cy="liste-savoir-faire-metier"] > li')
+  allSavoirFaire = soup.select('div#collapse-fm-1 > div[data-cy="liste-savoir-faire-principaux"]')
   if len(allSavoirFaire) != 0:
     allSF = "<table><tr><td>Savoir-faire</td><td>Libelle</td><td>Type</td><td>Categorie</td></tr>"
     for i in range(0,len(allSavoirFaire)):
       blockSavoirFaire = allSavoirFaire[i]
       try:
         soupSavoirFaire = BeautifulSoup(str(blockSavoirFaire), "html.parser")
-        titleSavoirFaire = soupSavoirFaire.select('h4.fm-block-form-title')
-        descriptSavoirFaire = soupSavoirFaire.select('div.fm-block-form-collapse-content')
+        titleSavoirFaire = soupSavoirFaire.select('p[role="heading"]')
+        descriptSavoirFaire = soupSavoirFaire.select('ul > li')
         if removeTags(titleSavoirFaire[0]) != None:
           for j in range(0,len(descriptSavoirFaire)):
             ssblockSavoirFaire = descriptSavoirFaire[j]
-            soupssSavoirFaire = BeautifulSoup(str(ssblockSavoirFaire), "html.parser")
-            sstitleSavoirFaire = soupssSavoirFaire.select('h5.fm-block-form-subtitle')
-            listSavoirFaire = soupssSavoirFaire.select('ul.list-unstyled > li')
-            if len(listSavoirFaire) != 0:
-              for k in range(0,len(listSavoirFaire)):
-                blockListSavoirFaire = removeTags(listSavoirFaire[k])
-                allSF += "<tr><td>" + removeTags(titleSavoirFaire[0]) + "</td><td>" + blockListSavoirFaire + "</td><td>" + removeTags(sstitleSavoirFaire[0]) + "</td><td>1</td></tr>"
+            #soupssSavoirFaire = BeautifulSoup(str(ssblockSavoirFaire), "html.parser")
+            #sstitleSavoirFaire = soupssSavoirFaire.select('h5.fm-block-form-subtitle')
+            #listSavoirFaire = soupssSavoirFaire.select('ul.list-unstyled > li')
+            #if len(listSavoirFaire) != 0:
+              #for k in range(0,len(listSavoirFaire)):
+                #blockListSavoirFaire = removeTags(listSavoirFaire[k])
+                #allSF += "<tr><td>" + removeTags(titleSavoirFaire[0]) + "</td><td>" + blockListSavoirFaire + "</td><td>" + removeTags(sstitleSavoirFaire[0]) + "</td><td>1</td></tr>"
+            blockListSavoirFaire = removeTags(ssblockSavoirFaire)
+            allSF += "<tr><td>" + removeTags(titleSavoirFaire[0]) + "</td><td>" + blockListSavoirFaire + "</td><td>Savoir-faire principaux</td><td>1</td></tr>"
       except:
         print("Pas de Savoir-Faire!")
     allSF += "</table>"
@@ -246,16 +248,18 @@ def datavisualisation_chiffres_cles_emplois(url):
     if removeTags(allnumembauchesfirst[0]).find('\xa0') != -1:
         allnumembauches = removeTags(allnumembauchesfirst[0]).split('\xa0')
         allnumembauches = ''.join(allnumembauches)
+        allnumembauches = allnumembauches.replace("&nbsp;","").strip()
     else:
-        allnumembauches = removeTags(allnumembauchesfirst[0]).replace("&nbsp;","")
+        allnumembauches = removeTags(allnumembauchesfirst[0]).replace("&nbsp;","").strip()
     print("Embauches avec tableau" + str(removeTags(allnumembauchesfirst[0])))
     print("Embauches sans tableau" + str(removeTags(allnumembauchesfirst)))
     
     if removeTags(allnumembauchesfirst[1]).find('\xa0') != -1:
         allnumoffres = removeTags(allnumembauchesfirst[1]).split('\xa0')
         allnumoffres = ''.join(allnumoffres)
+        allnumoffres = allnumoffres.replace("&nbsp;","").strip()
     else:
-        allnumoffres = removeTags(allnumembauchesfirst[1]).replace("&nbsp;","")
+        allnumoffres = removeTags(allnumembauchesfirst[1]).replace("&nbsp;","").strip()
     alldetailembauches = soup.select('p.hiring_text.ng-star-inserted')
     allnumevolutionembauches = soup.select('p.main.ng-star-inserted')
     alldetailevolutionembauches = soup.select('p.population_bubble-title')
@@ -279,13 +283,13 @@ def datavisualisation_chiffres_cles_emplois(url):
     allFAPsalaires = soup.select('p.sectorTable__cellValue')
     if len(allFAPsalaires) >= 3:
         allsalaires = "<table><tr><td>categorie</td><td>emploi</td><td>salaire</td></tr>"
-        allsalaires += "<tr><td>" + removeTags(alltypesalaires[1]) + "</td><td>" + removeTags(allcategorie[0]) + "</td><td>" + removeTags(allFAPsalaires[0]).replace('\xa0','').replace(' ','').replace('€','') + "</td></tr>"
-        allsalaires += "<tr><td>" + removeTags(alltypesalaires[2]) + "</td><td>" + removeTags(allcategorie[0]) + "</td><td>" + removeTags(allFAPsalaires[1]).replace('\xa0','').replace(' ','').replace('€','') + "</td></tr>"
-        allsalaires += "<tr><td>" + removeTags(alltypesalaires[3]) + "</td><td>" + removeTags(allcategorie[0]) + "</td><td>" + removeTags(allFAPsalaires[2]).replace('\xa0','').replace(' ','').replace('€','') + "</td></tr>"
+        allsalaires += "<tr><td>" + removeTags(alltypesalaires[1]) + "</td><td>" + removeTags(allcategorie[0]) + "</td><td>" + removeTags(allFAPsalaires[0]).replace('\xa0','').replace(' ','').replace('€','').replace('&nbsp;','').strip() + "</td></tr>"
+        allsalaires += "<tr><td>" + removeTags(alltypesalaires[2]) + "</td><td>" + removeTags(allcategorie[0]) + "</td><td>" + removeTags(allFAPsalaires[1]).replace('\xa0','').replace(' ','').replace('€','').replace('&nbsp;','').strip() + "</td></tr>"
+        allsalaires += "<tr><td>" + removeTags(alltypesalaires[3]) + "</td><td>" + removeTags(allcategorie[0]) + "</td><td>" + removeTags(allFAPsalaires[2]).replace('\xa0','').replace(' ','').replace('€','').replace('&nbsp;','').strip() + "</td></tr>"
         if len(allFAP) >= 2 and len(allFAPsalaires) == 6:
-            allsalaires += "<tr><td>" + removeTags(alltypesalaires[1]) + "</td><td>" + removeTags(allcategorie[4]) + "</td><td>" + removeTags(allFAPsalaires[3]).replace('\xa0','').replace(' ','').replace('€','') + "</td></tr>"
-            allsalaires += "<tr><td>" + removeTags(alltypesalaires[2]) + "</td><td>" + removeTags(allcategorie[4]) + "</td><td>" + removeTags(allFAPsalaires[4]).replace('\xa0','').replace(' ','').replace('€','') + "</td></tr>"
-            allsalaires += "<tr><td>" + removeTags(alltypesalaires[3]) + "</td><td>" + removeTags(allcategorie[4]) + "</td><td>" + removeTags(allFAPsalaires[5]).replace('\xa0','').replace(' ','').replace('€','') + "</td></tr>"
+            allsalaires += "<tr><td>" + removeTags(alltypesalaires[1]) + "</td><td>" + removeTags(allcategorie[4]) + "</td><td>" + removeTags(allFAPsalaires[3]).replace('\xa0','').replace(' ','').replace('€','').replace('&nbsp;','').strip() + "</td></tr>"
+            allsalaires += "<tr><td>" + removeTags(alltypesalaires[2]) + "</td><td>" + removeTags(allcategorie[4]) + "</td><td>" + removeTags(allFAPsalaires[4]).replace('\xa0','').replace(' ','').replace('€','').replace('&nbsp;','').strip() + "</td></tr>"
+            allsalaires += "<tr><td>" + removeTags(alltypesalaires[3]) + "</td><td>" + removeTags(allcategorie[4]) + "</td><td>" + removeTags(allFAPsalaires[5]).replace('\xa0','').replace(' ','').replace('€','').replace('&nbsp;','').strip() + "</td></tr>"
         allsalaires += "</table>"
 
     alltypedifficultes = soup.select('.tabs-main-content_persp-col2-bar.ng-star-inserted')
@@ -293,7 +297,7 @@ def datavisualisation_chiffres_cles_emplois(url):
     allpcdifficulte = soup.select('div.horizontal-graph_data')
     alldifficultes = "<table><tr><td>Indicateur</td><td>Valeur</td></tr>"
     for i in range(0,len(alltypedifficultes)):
-        alldifficultes += "<tr><td>" + removeTags(alldifficulte[i]) + "</td><td>" + removeTags(allpcdifficulte[i]).replace('Pour le territoire principal FRANCE pour les ' + removeTags(alldifficulte[i]),'').replace('%','') + "</td></tr>"
+        alldifficultes += "<tr><td>" + removeTags(alldifficulte[i]) + "</td><td>" + removeTags(allpcdifficulte[i]).replace('Pour le territoire principal FRANCE pour les ' + removeTags(alldifficulte[i]),'').replace('%','').strip() + "</td></tr>"
     alldifficultes += "</table>"
 
     alltyperepartitions = soup.select('div.hiring-contract_legende_item.ng-star-inserted')
@@ -309,7 +313,7 @@ def datavisualisation_chiffres_cles_emplois(url):
     allpcentreprise = soup.select('span.data.ng-star-inserted')
     allentreprises = "<table><tr><td>Indicateur</td><td>Valeur</td></tr>"
     for i in range(0,len(allentrepriserepartitions)):
-        allentreprises += "<tr><td>" + removeTags(allentrepriserepartitions[i])[0:-4] + "</td><td>" + removeTags(allentrepriserepartitions[i])[-4:].replace('%','').replace(',','.') + "</td></tr>"
+        allentreprises += "<tr><td>" + removeTags(allentrepriserepartitions[i])[0:-4] + "</td><td>" + removeTags(allentrepriserepartitions[i])[-4:].replace('%','').replace(',','.').strip() + "</td></tr>"
     allentreprises += "</table>"
 
     return [alldemandeurs, allsalaires, alldifficultes, allrepartitions, allentreprises]
@@ -1393,14 +1397,14 @@ def load_from_skills(n_clicks, array_value, theme):
     for j in range(0, len(array_value)):
         ficheSF = getSavoirFaireFromHTMLMetier("https://candidat.francetravail.fr/metierscope/fiche-metier/" + array_value[j])
         fig_SF = datavisualisation_skills_context(htmlToDataframe(ficheSF), template, paper_bgcolor, plot_bgcolor, "Savoir-faire", array_value[j])
-        ficheSavoir = getSavoirFromHTMLMetier("https://candidat.francetravail.fr/metierscope/fiche-metier/" + array_value[j])
-        fig_Savoir = datavisualisation_skills_context(htmlToDataframe(ficheSavoir), template, paper_bgcolor, plot_bgcolor, "Savoirs", array_value[j])
-        ficheContext = getContextFromHTMLMetier("https://candidat.francetravail.fr/metierscope/fiche-metier/" + array_value[j])
-        fig_Context = datavisualisation_skills_context(htmlToDataframe(ficheContext), template, paper_bgcolor, plot_bgcolor, "Contexte", array_value[j])
+        #ficheSavoir = getSavoirFromHTMLMetier("https://candidat.francetravail.fr/metierscope/fiche-metier/" + array_value[j])
+        #fig_Savoir = datavisualisation_skills_context(htmlToDataframe(ficheSavoir), template, paper_bgcolor, plot_bgcolor, "Savoirs", array_value[j])
+        #ficheContext = getContextFromHTMLMetier("https://candidat.francetravail.fr/metierscope/fiche-metier/" + array_value[j])
+        #fig_Context = datavisualisation_skills_context(htmlToDataframe(ficheContext), template, paper_bgcolor, plot_bgcolor, "Contexte", array_value[j])
         
         children.append(dmc.GridCol(html.Div(dcc.Loading(id="loadingPlot",children=(dcc.Graph(figure=fig_SF)), type="default"), style=styleTitle), span=12),)
-        children.append(dmc.GridCol(html.Div(dcc.Loading(id="loadingPlot",children=(dcc.Graph(figure=fig_Savoir)), type="default"), style=styleTitle), span=12),)
-        children.append(dmc.GridCol(html.Div(dcc.Loading(id="loadingPlot",children=(dcc.Graph(figure=fig_Context)), type="default"), style=styleTitle), span=12),)
+        #children.append(dmc.GridCol(html.Div(dcc.Loading(id="loadingPlot",children=(dcc.Graph(figure=fig_Savoir)), type="default"), style=styleTitle), span=12),)
+        #children.append(dmc.GridCol(html.Div(dcc.Loading(id="loadingPlot",children=(dcc.Graph(figure=fig_Context)), type="default"), style=styleTitle), span=12),)
     
     return dmc.Grid(children=children), False