Update main.py

main.py

@@ -1,12 +1,14 @@
 import json
 import os
 import time
+import datetime
+import pandas as pd
 from pathlib import Path
 import chainlit as cl
-from azure.ai.inference import ChatCompletionsClient
-from azure.ai.inference.models import SystemMessage, UserMessage
-from azure.core.credentials import AzureKeyCredential
-
+from mistralai.client import MistralClient
+from mistralai import Mistral, UserMessage, SystemMessage
+from offres_emploi import Api
+from offres_emploi.utils import dt_to_str_iso
 os.environ["GITHUB_TOKEN"] = os.environ["GITHUB_TOKEN"]
 
 @cl.step(type="tool", show_input=True)
@@ -50,40 +52,92 @@ def Chargement_des_datas_web(profile):
     fileOpen.close()
     return txt
     
+def connexion_France_Travail():
+    client = Api(client_id=os.getenv('POLE_EMPLOI_CLIENT_ID'),
+                client_secret=os.getenv('POLE_EMPLOI_CLIENT_SECRET'))
+    return client
+
+def API_France_Travail_ROME(romeListArray):
+    client = connexion_France_Travail()
+    todayDate = datetime.datetime.today()
+    month, year = (todayDate.month-1, todayDate.year) if todayDate.month != 1 else (12, todayDate.year-1)
+    start_dt = todayDate.replace(day=1, month=month, year=year)
+    end_dt = datetime.datetime.today()
+    results = []
+    romeList = []
+    if romeListArray.find('-') != -1:
+        romeList = romeListArray.split('-')
+    else:
+        romeList.append(romeListArray)
+    for k in romeList:
+        k = k.lstrip()
+        k = k.rstrip()
+        params = {"motsCles": k.replace('/', '').replace('-', '').replace(',', '').replace(' ', ','),'minCreationDate': dt_to_str_iso(start_dt),'maxCreationDate': dt_to_str_iso(end_dt),'range':'0-149'}
+        try:
+            search_on_big_data = client.search(params=params)
+            results += search_on_big_data["resultats"]
+        except:
+            print("Il n'y a pas d'offres d'emploi.")
+        
+    results_df = pd.DataFrame(results)
+    return results_df
+
+def API_France_Travail_Metier(metier):
+    client = connexion_France_Travail()
+    todayDate = datetime.datetime.today()
+    month, year = (todayDate.month-1, todayDate.year) if todayDate.month != 1 else (12, todayDate.year-1)
+    start_dt = todayDate.replace(day=1, month=month, year=year)
+    end_dt = datetime.datetime.today()
+    results = []  
+    params = {"motsCles": metier,'minCreationDate': dt_to_str_iso(start_dt),'maxCreationDate': dt_to_str_iso(end_dt),'range':'0-149'}
+    try:
+        search_on_big_data = client.search(params=params)
+        results += search_on_big_data["resultats"]
+    except:
+        print("Il n'y a pas d'offres d'emploi.")
+        
+    results_df = pd.DataFrame(results)
+    return results_df
+
 @cl.step(type="llm", show_input=True)
 def Connexion_Mistral():
-    return ChatCompletionsClient(
-        endpoint="https://models.inference.ai.azure.com",
-        credential=AzureKeyCredential(os.environ["GITHUB_TOKEN"]),
-    )
+    endpoint = "https://models.inference.ai.azure.com"
+    return Mistral(api_key=os.environ["GITHUB_TOKEN"], server_url=endpoint)
 
 @cl.step(type="tool", show_input=True)
 def Generation_reponse(client, data, question):
-    return client.complete(
-        stream=True,
+    return client.chat.stream(
+        model="Mistral-Nemo",
         messages=[
             SystemMessage(content="Tu es un spécialiste de l'enseignement supérieur, des formations et de la pédagogie. Tu es en capacité d'analyser en profondeur les séances pédagogiques et de les mettre en adéquation avec les théories de la recherche en éducation. Répondez à la question seulement et exclusivement à partir du contexte et des définitions ci-contre, de la manière la plus pertinente, seulement en fonction des informations fournies. Contexte : " + str(data) + ". Définition : les formations MIPI (Management de l'Innovation et du Patrimoine Immobilier) concernent le secteur de l'immobilier : facility management, property management, asset management. Les formations MITIC (Management de l'Innovation des Technologies de l'Information et de la Communication) concernent le secteur du numérique : management de projet, innovation et conseil, support numérique aux métiers"),
             UserMessage(content=question + "Donne le résultat au format texte markdown, jusqu'à 3000 caractères convertis en UTF-8. Continue la réponse en citant, dans un paragraphe supplémentaire de 3 lignes, introduit un saut de ligne et par \"\n📚 Sources : \", les 3 verbatim, jusqu'à 100 caractères pour chaque verbatim, avec leur numéro de ligne respectif, qui ont permis de générer la réponse, à partir du contexte. Termine la réponse en créant, dans un dernier paragraphe d'une seule et unique ligne, introduite par un saut de ligne et par \"\n📣 Question en relation avec le sujet : \", 1 seule et unique question en relation avec la question posée, en commençant la ligne par \"Question relative au contexte :\"."),
         ],
-        model="Phi-3.5-MoE-instruct",
-        presence_penalty=0.1,
-        frequency_penalty=0.8,
+        temperature=0.1,
         max_tokens=1024,
-        stop=["<|endoftext|>"],
-        temperature=0,
-        top_p=1,
-        model_extras={
-            "logprobs": True
-        }
-    )    
+    )
+
+def Generation_completion(client, data, question):
+    response = client.chat.complete(
+        model="Mistral-Nemo",
+        messages=[
+            SystemMessage(content="Tu es un spécialiste de l'enseignement supérieur, des formations et de la pédagogie. Tu es en capacité d'analyser en profondeur les séances pédagogiques et de les mettre en adéquation avec les théories de la recherche en éducation. Répondez à la question seulement et exclusivement à partir du contexte et des définitions ci-contre, de la manière la plus pertinente, seulement en fonction des informations fournies. Contexte : " + str(data) + ". Définition : les formations MIPI (Management de l'Innovation et du Patrimoine Immobilier) concernent le secteur de l'immobilier : facility management, property management, asset management. Les formations MITIC (Management de l'Innovation des Technologies de l'Information et de la Communication) concernent le secteur du numérique : management de projet, innovation et conseil, support numérique aux métiers"),
+            UserMessage(content=question + "Donne le résultat au format texte markdown, jusqu'à 3000 caractères convertis en UTF-8. Continue la réponse en citant, dans un paragraphe supplémentaire de 3 lignes, introduit un saut de ligne et par \"\n📚 Sources : \", les 3 verbatim, jusqu'à 100 caractères pour chaque verbatim, avec leur numéro de ligne respectif, qui ont permis de générer la réponse, à partir du contexte. Termine la réponse en créant, dans un dernier paragraphe d'une seule et unique ligne, introduite par un saut de ligne et par \"\n📣 Question en relation avec le sujet : \", 1 seule et unique question en relation avec la question posée, en commençant la ligne par \"Question relative au contexte :\"."),
+        ],
+        temperature=0.1,
+        max_tokens=1024,
+        top_p=0.1
+    )
+    msg = response.choices[0].message.content
+    return msg
+   
 @cl.step(type="tool", show_input=True)
 async def Affichage_reponse(response):
     msg = cl.Message(author="COPILOT",content="")
     
     for update in response:
-        if update.choices:
+        if update.data.choices:
             time.sleep(0.125)
-            await msg.stream_token(update.choices[0].delta.content.replace('Ã','é').replace('©','').replace('Ã','è').replace('¨','').replace('â','\'').replace('€','').replace('™','').replace('Å','oe').replace('“','').replace('®','î').replace('´','ô').replace('<','').replace('>','').replace('/',''))
+            await msg.stream_token(update.data.choices[0].delta.content.replace('Ã','é').replace('©','').replace('Ã','è').replace('¨','').replace('â','\'').replace('€','').replace('™','').replace('Å','oe').replace('“','').replace('®','î').replace('´','ô').replace('<','').replace('>','').replace('/',''))
     
     await msg.send()
     return msg
@@ -133,16 +187,33 @@ async def on_action(action):
 async def on_action(action):
     client = cl.user_session.get("client")
     data = Chargement_des_datas_web(cl.user_session.get("chat_profile"))
-    data = data[0:6975]
+    
+    diviseur = str(len(data) // 23500)
+    reste = str(len(data) % 23500)
+    
     question = action.value
     
-    response = Generation_reponse(client, data, question)
+    answer = ''
+    if diviseur != 0:
+        for i in range(0, 3):
+            operator = i + 1
+            deb = i * 23500
+            end = operator * 23500
+            webData = data[deb:end]
+            answer += Generation_completion(client, webData, question)
+    else:
+        answer += Generation_reponse(client, data, question)
+        
+    if diviseur != 0 and reste !=0 and len(reste) <= 23500:
+        answer += Generation_completion(client, reste, question)
+        
+    response = Generation_reponse(client, answer, question)
     
     msg = await Affichage_reponse(response)
     
-    answer = msg.content
+    result = msg.content
     
-    await Affichage_question_contexte(answer, question)
+    await Affichage_question_contexte(result, question)
     
     
 @cl.set_chat_profiles
@@ -302,6 +373,60 @@ async def chat_profile():
                     )
             ]
         ),
+        cl.ChatProfile(
+            name="Offres d'emploi par code ROME",
+            markdown_description="Posez vos questions sur les offres d'emploi en direct avec France Travail grâce aux codes ROME rattachés aux formations.",
+            icon="/public/public_request-theme.svg",
+            starters = [
+                cl.Starter(
+                    label="Offres d'emploi de la licence MIPI",
+                    message="M1403-M1604-M1204-M1605-M1203",
+                    icon="/public/public_learn.svg",
+                    ),
+                cl.Starter(
+                    label="Offres d'emploi de la licence MITIC",
+                    message="M1403-M1604-M1204-M1605-M1203",
+                    icon="/public/public_learn.svg",
+                    ),
+                cl.Starter(
+                    label="Offres d'emploi du master MIPI",
+                    message="M1702-M1402-M1403-H1206-M1703",
+                    icon="/public/public_learn.svg",
+                    ),
+                cl.Starter(
+                    label="Offres d'emploi du master MITIC",
+                    message="M1702-M1402-M1403-H1206-M1703",
+                    icon="/public/public_learn.svg",
+                    )
+            ]
+        ),
+        cl.ChatProfile(
+            name="Offres d'emploi par métier type",
+            markdown_description="Posez vos questions sur les offres d'emploi en direct avec France Travail par métier type.",
+            icon="/public/public_request-theme.svg",
+            starters = [
+                cl.Starter(
+                    label="Responsable de site industriel ou tertiaire",
+                    message="Responsable de site industriel ou tertiaire",
+                    icon="/public/public_learn.svg",
+                    ),
+                cl.Starter(
+                    label="Conseiller en investissement immobilier",
+                    message="Conseiller en investissement immobilier",
+                    icon="/public/public_learn.svg",
+                    ),
+                cl.Starter(
+                    label="Chef de projet digital",
+                    message="Chef de projet digital",
+                    icon="/public/public_learn.svg",
+                    ),
+                cl.Starter(
+                    label="Manager de l'innovation numérique",
+                    message="Manager de l'innovation numérique",
+                    icon="/public/public_learn.svg",
+                    )
+            ]
+        ),
     ]
 
 @cl.on_chat_start
@@ -311,17 +436,48 @@ async def on_chat_start():
 
 @cl.on_message
 async def main(message: cl.Message):
-    data = Chargement_des_datas(cl.user_session.get("chat_profile"))
-    cl.user_session.set("data", data)
-    client = cl.user_session.get("client")
+    if cl.user_session.get("chat_profile") != "Offres d'emploi par code ROME" and cl.user_session.get("chat_profile") != "Offres d'emploi par métier type":
+        data = Chargement_des_datas(cl.user_session.get("chat_profile"))
+        cl.user_session.set("data", data)
+        client = cl.user_session.get("client")
     
-    response = Generation_reponse(client, data, message.content)
+        response = Generation_reponse(client, data, message.content)
     
-    msg = await Affichage_reponse(response)
+        msg = await Affichage_reponse(response)
     
-    answer = msg.content
-    await Affichage_question_contexte(answer, message.content)
+        answer = msg.content
+        await Affichage_question_contexte(answer, message.content)
+    else:
+        codeRomeStr = message.content
+        if codeRomeStr.find('-') != -1 or isinstance(codeRomeStr[-4], int) or isinstance(codeRomeStr[1:5], int):
+            await cl.Message(author="COPILOT", content="📊 Connexion à l'API France Travail").send()
+            df_FT = API_France_Travail_ROME(codeRomeStr)
+        elif isinstance(codeRomeStr[-4], int):
+            await cl.Message(author="COPILOT", content="📊 Connexion à l'API France Travail").send()
+            df_FT = API_France_Travail_ROME(codeRomeStr)
+        else:
+            df_FT = API_France_Travail_Metier(codeRomeStr)
+        
+        await cl.Message(author="COPILOT", content="📈 Tableau des emplois les plus représentatifs").send()
+        df_intitule = df_FT.groupby('intitule').size().reset_index(name='obs')
+        df_intitule = df_intitule.sort_values(by=['obs'], ascending=True)
+        df_intitule = df_intitule.iloc[-25:]
+        displayTable = df_intitule.sort_values(by=['obs'], ascending=True).to_markdown
+        await cl.Message(author="COPILOT", content=displayTable).send()
+        
+        df_FT_Select = df_FT[['intitule','typeContratLibelle','experienceLibelle','competences','description','qualitesProfessionnelles','salaire','lieuTravail','formations']].copy()
+        list_FT = df_FT_Select.values.tolist()
+        context = ''
+        for i in range(0,len(list_FT)):
+            context += "\n✔️ Emploi : " + str(list_FT[i][0]) + ";\n◉ Contrat : " + str(list_FT[i][1]) + ";\n◉ Compétences professionnelles : " + str(list_FT[i][3]).replace("{","").replace("}","").replace("[","").replace("]","").replace("code","").replace("libelle","") + ";\n" + "◉ Salaire : " + str(list_FT[i][6]).replace("{","").replace("}","").replace("[","").replace("]","") + ";\n◉ Qualification : " + str(list_FT[i][5]).replace("'libelle'","\n• 'libelle").replace("{","").replace("}","").replace("[","").replace("]","").replace("code","") + ";\n◉ Localisation : " + str(list_FT[i][7]).replace("{","").replace("}","").replace("[","").replace("]","") + ";\n◉ Expérience : " + str(list_FT[i][2]) + ";\n◉ Niveau de qualification : " + str(list_FT[i][8]).replace("{","").replace("}","").replace("[","").replace("]","") + ";\n◉ Description de l'emploi : " + str(list_FT[i][4]) + "\n"
 
+        listEmplois_name = f"Liste des emplois"
+        text_elements = []
+        text_elements.append(
+            cl.Text(content="Question : " + codeRomeStr + "\n\nRéponse :\n" + context.replace('[','').replace(']','').replace('{','').replace('}','').replace("'code'","\n• 'code'"), name=listEmplois_name, display="side")
+        )
+        await cl.Message(author="COPILOT", content="👨‍💼 Source France Travail : " + listEmplois_name, elements=text_elements).send()
+        
 @cl.on_stop
 def on_stop():
     print("L'utilisateur veut arrêter la completion en cours!")