Update app.py

app.py

@@ -114,24 +114,25 @@ def getSavoirFaireFromHTMLMetier(url):
 def getSavoirFromHTMLMetier(url):
   response = requests.get(url)
   soup = BeautifulSoup(response.text, "html.parser")
-  allSavoirFaire = soup.select('ul[data-cy="liste-savoir-metier"] > li')
+  allSavoirFaire = soup.select('div[data-cy="liste-savoir-metier"]')
   if len(allSavoirFaire) != 0:
     allSF = "<table><tr><td>Savoir-faire</td><td>Libelle</td><td>Categorie</td></tr>"
     for i in range(0,len(allSavoirFaire)):
       blockSavoirFaire = allSavoirFaire[i]
       try:
         soupSavoirFaire = BeautifulSoup(str(blockSavoirFaire), "html.parser")
-        titleSavoirFaire = soupSavoirFaire.select('h4.fm-block-form-title')
-        descriptSavoirFaire = soupSavoirFaire.select('div.fm-block-form-collapse-content')
+        titleSavoirFaire = soupSavoirFaire.select('button[data-cy="boutons-savoir-metier"]')
+        descriptSavoirFaire = soupSavoirFaire.select('ul > li')
         if removeTags(titleSavoirFaire[0]) != None:
-          for j in range(0,len(descriptSavoirFaire)):
-            ssblockSavoirFaire = descriptSavoirFaire[j]
-            soupssSavoirFaire = BeautifulSoup(str(ssblockSavoirFaire), "html.parser")
-            listSavoirFaire = soupssSavoirFaire.select('ul.list-unstyled > li')
-            if len(listSavoirFaire) != 0:
-              for k in range(0,len(listSavoirFaire)):
-                blockListSavoirFaire = removeTags(listSavoirFaire[k])
-                allSF += "<tr><td>" + removeTags(titleSavoirFaire[0]) + "</td><td>" + blockListSavoirFaire + "</td><td>1</td></tr>"
+          for j in range(0,len(titleSavoirFaire)):
+            #ssblockSavoirFaire = descriptSavoirFaire[j]
+            #soupssSavoirFaire = BeautifulSoup(str(ssblockSavoirFaire), "html.parser")
+            #listSavoirFaire = soupssSavoirFaire.select('ul.list-unstyled > li')
+            #if len(listSavoirFaire) != 0:
+            for k in range(0,len(descriptSavoirFaire)):
+                #blockListSavoirFaire = removeTags(listSavoirFaire[k])
+                blockListSavoirFaire = removeTags(descriptSavoirFaire[k])
+                allSF += "<tr><td>" + removeTags(titleSavoirFaire[j]) + "</td><td>" + blockListSavoirFaire + "</td><td>1</td></tr>"
       except:
         print("Pas de Savoir-Faire!")
     allSF += "</table>"
@@ -1396,13 +1397,13 @@ def load_from_skills(n_clicks, array_value, theme):
     for j in range(0, len(array_value)):
         ficheSF = getSavoirFaireFromHTMLMetier("https://candidat.francetravail.fr/metierscope/fiche-metier/" + array_value[j])
         fig_SF = datavisualisation_skills_context(htmlToDataframe(ficheSF), template, paper_bgcolor, plot_bgcolor, "Savoir-faire", array_value[j])
-        #ficheSavoir = getSavoirFromHTMLMetier("https://candidat.francetravail.fr/metierscope/fiche-metier/" + array_value[j])
-        #fig_Savoir = datavisualisation_skills_context(htmlToDataframe(ficheSavoir), template, paper_bgcolor, plot_bgcolor, "Savoirs", array_value[j])
+        ficheSavoir = getSavoirFromHTMLMetier("https://candidat.francetravail.fr/metierscope/fiche-metier/" + array_value[j])
+        fig_Savoir = datavisualisation_skills_context(htmlToDataframe(ficheSavoir), template, paper_bgcolor, plot_bgcolor, "Savoirs", array_value[j])
         #ficheContext = getContextFromHTMLMetier("https://candidat.francetravail.fr/metierscope/fiche-metier/" + array_value[j])
         #fig_Context = datavisualisation_skills_context(htmlToDataframe(ficheContext), template, paper_bgcolor, plot_bgcolor, "Contexte", array_value[j])
         
         children.append(dmc.GridCol(html.Div(dcc.Loading(id="loadingPlot",children=(dcc.Graph(figure=fig_SF)), type="default"), style=styleTitle), span=12),)
-        #children.append(dmc.GridCol(html.Div(dcc.Loading(id="loadingPlot",children=(dcc.Graph(figure=fig_Savoir)), type="default"), style=styleTitle), span=12),)
+        children.append(dmc.GridCol(html.Div(dcc.Loading(id="loadingPlot",children=(dcc.Graph(figure=fig_Savoir)), type="default"), style=styleTitle), span=12),)
         #children.append(dmc.GridCol(html.Div(dcc.Loading(id="loadingPlot",children=(dcc.Graph(figure=fig_Context)), type="default"), style=styleTitle), span=12),)
     
     return dmc.Grid(children=children), False
@@ -1452,7 +1453,8 @@ def run_chatbot(n_clicks, n_submit, user_input, chat_history, array_value):
     {context}
     {question} [/INST] </s>
     """
-    context_p = context[:48000]
+    #context_p = context[:48000]
+    context_p = context[:100000]
     name = "Mistral"
     chat_history += f"Vous: {user_input}<split>{name}:"