main.py

import json
import os
import time
import datetime
import pandas as pd
from pathlib import Path
import chainlit as cl
from mistralai.client import MistralClient
from mistralai import Mistral, UserMessage, SystemMessage
from offres_emploi import Api
from offres_emploi.utils import dt_to_str_iso
os.environ["GITHUB_TOKEN"] = os.environ["GITHUB_TOKEN"]

@cl.step(type="tool", show_input=True)
def Chargement_des_datas(profile):
    if profile == "Toutes les formations":
        file_path='./public/content-MIPI-MITIC.json'
    elif profile == "Licence MIPI":
        file_path='./public/content-Licence-MIPI.json'
    elif profile == "Licence MITIC":
        file_path='./public/content-Licence-MITIC.json'
    elif profile == "Master MIPI":
        file_path='./public/content-Master-MIPI.json'
    elif profile == "Master MITIC":
        file_path='./public/content-Master-MITIC.json'
    elif profile == "Métiers de l'immobilier":
        file_path='./public/metiers-MIPI.json'
    elif profile == "Métiers du numérique":
        file_path='./public/metiers-MITIC.json'

    return json.loads(Path(file_path).read_text())

@cl.step(type="tool", show_input=True)
def Chargement_des_datas_web(profile):
    if profile == "Toutes les formations":
        file_path='./public/html-MIPI-MITIC.txt'
    elif profile == "Licence MIPI":
        file_path='./public/html-Licence-MIPI.txt'
    elif profile == "Licence MITIC":
        file_path='./public/html-Licence-MITIC.txt'
    elif profile == "Master MIPI":
        file_path='./public/html-Master-MIPI.txt'
    elif profile == "Master MITIC":
        file_path='./public/html-Master-MITIC.txt'
    elif profile == "Métiers de l'immobilier":
        file_path='./public/metiers-MIPI.txt'
    elif profile == "Métiers du numérique":
        file_path='./public/metiers-MITIC.txt'
        
    fileOpen = open(file_path, "r")
    txt = fileOpen.read()
    fileOpen.close()
    return txt
    
def connexion_France_Travail():
    client = Api(client_id=os.getenv('POLE_EMPLOI_CLIENT_ID'),
                client_secret=os.getenv('POLE_EMPLOI_CLIENT_SECRET'))
    return client

def API_France_Travail_ROME(romeListArray):
    client = connexion_France_Travail()
    todayDate = datetime.datetime.today()
    month, year = (todayDate.month-1, todayDate.year) if todayDate.month != 1 else (12, todayDate.year-1)
    start_dt = todayDate.replace(day=1, month=month, year=year)
    end_dt = datetime.datetime.today()
    results = []
    romeList = []
    if romeListArray.find('-') != -1:
        romeList = romeListArray.split('-')
    else:
        romeList.append(romeListArray)
    for k in romeList:
        k = k.lstrip()
        k = k.rstrip()
        params = {"motsCles": k.replace('/', '').replace('-', '').replace(',', '').replace(' ', ','),'minCreationDate': dt_to_str_iso(start_dt),'maxCreationDate': dt_to_str_iso(end_dt),'range':'0-149'}
        try:
            search_on_big_data = client.search(params=params)
            results += search_on_big_data["resultats"]
        except:
            print("Il n'y a pas d'offres d'emploi.")
        
    results_df = pd.DataFrame(results)
    return results_df

def API_France_Travail_Metier(metier):
    client = connexion_France_Travail()
    todayDate = datetime.datetime.today()
    month, year = (todayDate.month-1, todayDate.year) if todayDate.month != 1 else (12, todayDate.year-1)
    start_dt = todayDate.replace(day=1, month=month, year=year)
    end_dt = datetime.datetime.today()
    results = []  
    params = {"motsCles": metier,'minCreationDate': dt_to_str_iso(start_dt),'maxCreationDate': dt_to_str_iso(end_dt),'range':'0-149'}
    try:
        search_on_big_data = client.search(params=params)
        results += search_on_big_data["resultats"]
    except:
        print("Il n'y a pas d'offres d'emploi.")
        
    results_df = pd.DataFrame(results)
    return results_df

@cl.step(type="llm", show_input=True)
def Connexion_Mistral():
    endpoint = "https://models.inference.ai.azure.com"
    return Mistral(api_key=os.environ["GITHUB_TOKEN"], server_url=endpoint)

@cl.step(type="tool", show_input=True)
def Generation_reponse(client, data, question):
    return client.chat.stream(
        model="Mistral-Nemo",
        messages=[
            SystemMessage(content="Tu es un spécialiste de l'enseignement supérieur, des formations et de la pédagogie. Tu es en capacité d'analyser en profondeur les séances pédagogiques et de les mettre en adéquation avec les théories de la recherche en éducation. Répondez à la question seulement et exclusivement à partir du contexte et des définitions ci-contre, de la manière la plus pertinente, seulement en fonction des informations fournies. Contexte : " + str(data) + ". Définition : les formations MIPI (Management de l'Innovation et du Patrimoine Immobilier) concernent le secteur de l'immobilier : facility management, property management, asset management. Les formations MITIC (Management de l'Innovation des Technologies de l'Information et de la Communication) concernent le secteur du numérique : management de projet, innovation et conseil, support numérique aux métiers"),
            UserMessage(content=question + "Donne le résultat au format texte markdown, jusqu'à 3000 caractères convertis en UTF-8. Continue la réponse en citant, dans un paragraphe supplémentaire de 3 lignes, introduit un saut de ligne et par \"\n📚 Sources : \", les 3 verbatim, jusqu'à 100 caractères pour chaque verbatim, avec leur numéro de ligne respectif, qui ont permis de générer la réponse, à partir du contexte. Termine la réponse en créant, dans un dernier paragraphe d'une seule et unique ligne, introduite par un saut de ligne et par \"\n📣 Question en relation avec le sujet : \", 1 seule et unique question en relation avec la question posée, en commençant la ligne par \"Question relative au contexte :\"."),
        ],
        temperature=0.1,
        max_tokens=1024,
    )

def Generation_completion(client, data, question):
    response = client.chat.complete(
        model="Mistral-Nemo",
        messages=[
            SystemMessage(content="Tu es un spécialiste de l'enseignement supérieur, des formations et de la pédagogie. Tu es en capacité d'analyser en profondeur les séances pédagogiques et de les mettre en adéquation avec les théories de la recherche en éducation. Répondez à la question seulement et exclusivement à partir du contexte et des définitions ci-contre, de la manière la plus pertinente, seulement en fonction des informations fournies. Contexte : " + str(data) + ". Définition : les formations MIPI (Management de l'Innovation et du Patrimoine Immobilier) concernent le secteur de l'immobilier : facility management, property management, asset management. Les formations MITIC (Management de l'Innovation des Technologies de l'Information et de la Communication) concernent le secteur du numérique : management de projet, innovation et conseil, support numérique aux métiers"),
            UserMessage(content=question + "Donne le résultat au format texte markdown, jusqu'à 3000 caractères convertis en UTF-8. Continue la réponse en citant, dans un paragraphe supplémentaire de 3 lignes, introduit un saut de ligne et par \"\n📚 Sources : \", les 3 verbatim, jusqu'à 100 caractères pour chaque verbatim, avec leur numéro de ligne respectif, qui ont permis de générer la réponse, à partir du contexte. Termine la réponse en créant, dans un dernier paragraphe d'une seule et unique ligne, introduite par un saut de ligne et par \"\n📣 Question en relation avec le sujet : \", 1 seule et unique question en relation avec la question posée, en commençant la ligne par \"Question relative au contexte :\"."),
        ],
        temperature=0.1,
        max_tokens=1024,
        top_p=0.1
    )
    msg = response.choices[0].message.content
    return msg
   
@cl.step(type="tool", show_input=True)
async def Affichage_reponse(response):
    msg = cl.Message(author="COPILOT",content="")
    
    for update in response:
        if update.data.choices:
            time.sleep(0.125)
            await msg.stream_token(update.data.choices[0].delta.content.replace('Ã','é').replace('©','').replace('Ã','è').replace('¨','').replace('â','\'').replace('€','').replace('™','').replace('Å','oe').replace('“','').replace('®','î').replace('´','ô').replace('<','').replace('>','').replace('/',''))
    
    await msg.send()
    return msg

@cl.step(type="tool", show_input=True)
async def Affichage_question_contexte(answer, question):
    try:
        indexDeb = answer.index("Question en relation avec le sujet")
        indexDebLength = len("Question en relation avec le sujet")
    except:
        if answer.find("Question relative au contexte") != -1:
            indexDeb = answer.index("Question relative au contexte")
            indexDebLength = len("Question relative au contexte")
        else:
            indexDeb = answer.index("Question relative au sujet")
            indexDebLength = len("Question relative au sujet")
    
    indexFin = answer.index("?")
 
    extraction = answer[indexDeb + indexDebLength + 1: indexFin]
    
    actions = [
            cl.Action(name="Activer", value=extraction + "?", description="Activer la question en relation avec le contexte.")
        ]
    await cl.Message(author="COPILOT", content="🌐 Question en relation avec le contexte : " + extraction + "?", actions=actions).send()
    
    actionsWeb = [
        cl.Action(name="Site web", value=question, description="Rechercher sur le site web de l'université.")
    ]
    await cl.Message(author="COPILOT", content="🌐 Rechercher sur le site web de l'université : " + question, actions=actionsWeb).send()
     
@cl.action_callback("Activer")
async def on_action(action):
    client = cl.user_session.get("client")
    data = cl.user_session.get("data")
    question = action.value
    
    await cl.Message(author="COPILOT", content="📊 Connexion à Mistral").send()
    response = Generation_reponse(client, data, question)
    
    msg = await Affichage_reponse(response)
    
    answer = msg.content
    
    await Affichage_question_contexte(answer, question)
    
@cl.action_callback("Site web")
async def on_action(action):
    client = cl.user_session.get("client")
    data = Chargement_des_datas_web(cl.user_session.get("chat_profile"))
    
    diviseur = str(len(data) // 23500)
    reste = str(len(data) % 23500)
    
    question = action.value
    
    await cl.Message(author="COPILOT", content="📊 Connexion aux données Web et à Mistral").send()
    answer = ''
    if diviseur != 0:
        for i in range(0, 2):
            operator = i + 1
            deb = i * 23500
            end = operator * 23500
            webData = data[deb:end]
            answer += Generation_completion(client, webData, question)
    else:
        answer += Generation_reponse(client, data, question)
        
    if diviseur != 0 and reste !=0 and len(reste) <= 23500:
        answer += Generation_completion(client, reste, question)
        
    response = Generation_reponse(client, answer, question)
    
    msg = await Affichage_reponse(response)
    
    result = msg.content
    
    await Affichage_question_contexte(result, question)
    
    
@cl.set_chat_profiles
async def chat_profile():
    return [
        cl.ChatProfile(
            name="Toutes les formations",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour toutes les formations MIS.",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences de la (des) formation(s)",
                    message="Quelles sont toutes les compétences des formations? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours de la (des) formation(s)",
                    message="Quels sont tous les cours des formations? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ] 
        ),
        cl.ChatProfile(
            name="Licence MIPI",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour la licence MIPI",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences de la licence MIPI",
                    message="Quelles sont toutes les compétences de la licence MIPI? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours de la licence MIPI",
                    message="Quels sont tous les cours de la licence MIPI? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences de la licence MIPI à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Licence MITIC",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour la licence MITIC",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences de la licence MITIC",
                    message="Quelles sont toutes les compétences de la licence MITIC? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours de la licence MITIC",
                    message="Quels sont tous les cours de la licence MITIC? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences de la licence MITIC à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Master MIPI",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour les Masters MIPI",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences du master MIPI",
                    message="Quelles sont toutes les compétences du master MIPI? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours du master MIPI",
                    message="Quels sont tous les cours du master MIPI? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences du master MIPI à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Master MITIC",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour les masters MITIC",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences du master MITIC",
                    message="Quelles sont toutes les compétences du master MITIC? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours du master MITIC",
                    message="Quels sont tous les cours du master MITIC? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences du master MITIC à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Métiers de l'immobilier",
            markdown_description="Posez vos questions sur les métiers types du secteur de l'immobilier.",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Métiers du Facility Management",
                    message="Quels sont les métiers types de l'immobilier relatifs au Facility Management?",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Métiers du Property Management",
                    message="Quels sont les métiers types de l'immobilier relatifs au Property Management?",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Métiers de l'Asset Management",
                    message="Quels sont les métiers types de l'immobilier relatifs à l'Asset Management?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Métiers du numérique",
            markdown_description="Posez vos questions sur les métiers types du secteur du numérique.",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Métiers du Management de projet",
                    message="Quels sont les métiers types du numérique relatifs au Management de projet?",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Métiers de l'innovation et du conseil",
                    message="Quels sont les métiers types du numérique relatifs à l'innovation et au conseil?",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Métiers du support numérique aux métiers",
                    message="Quels sont les métiers types du numérique relatifs au support numérique aux métiers?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Offres d'emploi par code ROME",
            markdown_description="Posez vos questions sur les offres d'emploi en direct avec France Travail grâce aux codes ROME rattachés aux formations.",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Offres d'emploi de la licence MIPI",
                    message="M1403-M1604-M1204-M1605-M1203",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Offres d'emploi de la licence MITIC",
                    message="M1403-M1604-M1204-M1605-M1203",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Offres d'emploi du master MIPI",
                    message="M1702-M1402-M1403-H1206-M1703",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Offres d'emploi du master MITIC",
                    message="M1702-M1402-M1403-H1206-M1703",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Offres d'emploi par métier type",
            markdown_description="Posez vos questions sur les offres d'emploi en direct avec France Travail par métier type.",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Responsable de site industriel",
                    message="Responsable de site industriel",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Conseiller en gestion de patrimoine immobilier",
                    message="Conseiller en gestion de patrimoine immobilier",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Chef de projet digital",
                    message="Chef de projet digital",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Chargé d'études en SI",
                    message="chargé d'études en SI",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
    ]

@cl.on_chat_start
async def on_chat_start():
    client = Connexion_Mistral()
    cl.user_session.set("client", client)

@cl.on_message
async def main(message: cl.Message):
    if cl.user_session.get("chat_profile") != "Offres d'emploi par code ROME" and cl.user_session.get("chat_profile") != "Offres d'emploi par métier type":
        data = Chargement_des_datas(cl.user_session.get("chat_profile"))
        cl.user_session.set("data", data)
        client = cl.user_session.get("client")
    
        response = Generation_reponse(client, data, message.content)
    
        msg = await Affichage_reponse(response)
    
        answer = msg.content
        await Affichage_question_contexte(answer, message.content)
    else:
        codeRomeStr = message.content
        if codeRomeStr.find('-') != -1 or isinstance(codeRomeStr[-4], int) or isinstance(codeRomeStr[1:5], int):
            await cl.Message(author="COPILOT", content="📊 Connexion à l'API France Travail").send()
            df_FT = API_France_Travail_ROME(codeRomeStr)
        elif isinstance(codeRomeStr[-4], int):
            await cl.Message(author="COPILOT", content="📊 Connexion à l'API France Travail").send()
            df_FT = API_France_Travail_ROME(codeRomeStr)
        else:
            await cl.Message(author="COPILOT", content="📊 Connexion à l'API France Travail").send()
            df_FT = API_France_Travail_Metier(codeRomeStr)
        
        await cl.Message(author="COPILOT", content="📈 Tableau des emplois les plus représentatifs : " + cl.user_session.get("chat_profile")).send()
        df_intitule = df_FT.groupby('intitule').size().reset_index(name='obs')
        df_intitule = df_intitule.sort_values(by=['obs'], ascending=True)
        df_intitule = df_intitule.iloc[-25:]
        displayTable = df_intitule.sort_values(by=['obs'], ascending=True).to_markdown
        await cl.Message(author="COPILOT", content=displayTable).send()
        
        df_FT_Select = df_FT[['intitule','typeContratLibelle','experienceLibelle','competences','description','qualitesProfessionnelles','salaire','lieuTravail','formations']].copy()
        list_FT = df_FT_Select.values.tolist()
        context = ''
        for i in range(0,len(list_FT)):
            context += "\n✔️ Emploi : " + str(list_FT[i][0]) + ";\n◉ Contrat : " + str(list_FT[i][1]) + ";\n◉ Compétences professionnelles : " + str(list_FT[i][3]).replace("{","").replace("}","").replace("[","").replace("]","").replace("code","").replace("libelle","") + ";\n" + "◉ Salaire : " + str(list_FT[i][6]).replace("{","").replace("}","").replace("[","").replace("]","") + ";\n◉ Qualification : " + str(list_FT[i][5]).replace("'libelle'","\n• 'libelle").replace("{","").replace("}","").replace("[","").replace("]","").replace("code","") + ";\n◉ Localisation : " + str(list_FT[i][7]).replace("{","").replace("}","").replace("[","").replace("]","") + ";\n◉ Expérience : " + str(list_FT[i][2]) + ";\n◉ Niveau de qualification : " + str(list_FT[i][8]).replace("{","").replace("}","").replace("[","").replace("]","") + ";\n◉ Description de l'emploi : " + str(list_FT[i][4]) + "\n"

        listEmplois_name = f"Liste des emplois"
        text_elements = []
        text_elements.append(
            cl.Text(content="Question : " + codeRomeStr + "\n\nRéponse :\n" + context.replace('[','').replace(']','').replace('{','').replace('}','').replace("'code'","\n• 'code'"), name=listEmplois_name, display="side")
        )
        await cl.Message(author="COPILOT", content="👨‍💼 Source France Travail : " + listEmplois_name, elements=text_elements).send()
        
@cl.on_stop
def on_stop():
    print("L'utilisateur veut arrêter la completion en cours!")