Update main.py

main.py

@@ -129,16 +129,39 @@ def Connexion_Mistral():
 
 @cl.step(type="tool", show_input=True)
 @ls.traceable(run_type="llm", name="Connexion à Mistral : paramétrages de la conversation")
-def Generation_reponse(client, data, question):
-    return client.chat.stream(
-        model="Mistral-Nemo",
-        messages=[
-            SystemMessage(content="Tu es un spécialiste de l'enseignement supérieur, des formations et de la pédagogie. Tu es en capacité d'analyser en profondeur les séances pédagogiques et de les mettre en adéquation avec les théories de la recherche en éducation. Répondez à la question seulement et exclusivement à partir du contexte et des définitions ci-contre, de la manière la plus pertinente, seulement en fonction des informations fournies. Contexte : " + str(data) + ". Définition : les formations MIPI (Management de l'Innovation et du Patrimoine Immobilier) concernent le secteur de l'immobilier : facility management, property management, asset management. Les formations MITIC (Management de l'Innovation des Technologies de l'Information et de la Communication) concernent le secteur du numérique : management de projet, innovation et conseil, support numérique aux métiers"),
-            UserMessage(content=question + "Donne le résultat au format texte markdown, jusqu'à 3000 caractères convertis en UTF-8. Continue la réponse en citant, dans un paragraphe supplémentaire de 3 lignes, introduit un saut de ligne et par \"\n📚 Sources : \", les 3 verbatim, jusqu'à 100 caractères pour chaque verbatim, avec leur numéro de ligne respectif, qui ont permis de générer la réponse, à partir du contexte. Termine la réponse en créant, dans un dernier paragraphe d'une seule et unique ligne, introduite par un saut de ligne et par \"\n📣 Question en relation avec le sujet : \", 1 seule et unique question en relation avec la question posée, en commençant la ligne par \"Question relative au contexte :\"."),
-        ],
-        temperature=0.1,
-        max_tokens=1024,
+def Generation_reponse(client):
+    if not cl.user_session.get("saveMemory"):
+        cl.user_session.set("saveMemory", "")
+    cl.user_session.set("memory", ConversationBufferMemory(return_messages=True))
+    memory = cl.user_session.get("memory")
+    prompt = ChatPromptTemplate.from_messages(
+        [
+            (
+                "system",
+                f"Tu es un spécialiste de l'enseignement supérieur, des formations et de la pédagogie. Tu es en capacité d'analyser en profondeur les séances pédagogiques et de les mettre en adéquation avec les théories de la recherche en éducation. Répondez à la question seulement et exclusivement à partir du contexte et des définitions ci-contre, de la manière la plus pertinente, seulement en fonction des informations fournies. Définition : les formations MIPI (Management de l'Innovation et du Patrimoine Immobilier) concernent le secteur de l'immobilier : facility management, property management, asset management. Les formations MITIC (Management de l'Innovation des Technologies de l'Information et de la Communication) concernent le secteur du numérique : management de projet, innovation et conseil, support numérique aux métiers",
+            ),
+            MessagesPlaceholder(variable_name="history"),
+            ("human", "Contexte : {data}.\n{question}. Donne le résultat au format texte markdown, jusqu'à 3000 caractères convertis en UTF-8. Continue la réponse en citant, dans un paragraphe supplémentaire de 3 lignes, introduit un saut de ligne et par \"\n📚 Sources : \", les 3 verbatim, jusqu'à 100 caractères pour chaque verbatim, avec leur numéro de ligne respectif, qui ont permis de générer la réponse, à partir du contexte. Termine la réponse en créant, dans un dernier paragraphe d'une seule et unique ligne, introduite par un saut de ligne et par \"\n📣 Question en relation avec le sujet : \", 1 seule et unique question en relation avec la question posée, en commençant la ligne par \"Question relative au contexte :\"."),
+        ]
+    )
+    runnable = (
+        RunnablePassthrough.assign(
+            history=RunnableLambda(memory.load_memory_variables) | itemgetter("history")
+        )
+        | prompt
+        | client
     )
+    
+    return runnable
+    #return client.chat.stream(
+    #    model="Mistral-Nemo",
+    #    messages=[
+    #        SystemMessage(content="Tu es un spécialiste de l'enseignement supérieur, des formations et de la pédagogie. Tu es en capacité d'analyser en profondeur les séances pédagogiques et de les mettre en adéquation avec les théories de la recherche en éducation. Répondez à la question seulement et exclusivement à partir du contexte et des définitions ci-contre, de la manière la plus pertinente, seulement en fonction des informations fournies. Contexte : " + str(data) + ". Définition : les formations MIPI (Management de l'Innovation et du Patrimoine Immobilier) concernent le secteur de l'immobilier : facility management, property management, asset management. Les formations MITIC (Management de l'Innovation des Technologies de l'Information et de la Communication) concernent le secteur du numérique : management de projet, innovation et conseil, support numérique aux métiers"),
+    #        UserMessage(content=question + "Donne le résultat au format texte markdown, jusqu'à 3000 caractères convertis en UTF-8. Continue la réponse en citant, dans un paragraphe supplémentaire de 3 lignes, introduit un saut de ligne et par \"\n📚 Sources : \", les 3 verbatim, jusqu'à 100 caractères pour chaque verbatim, avec leur numéro de ligne respectif, qui ont permis de générer la réponse, à partir du contexte. Termine la réponse en créant, dans un dernier paragraphe d'une seule et unique ligne, introduite par un saut de ligne et par \"\n📣 Question en relation avec le sujet : \", 1 seule et unique question en relation avec la question posée, en commençant la ligne par \"Question relative au contexte :\"."),
+    #    ],
+    #    temperature=0.1,
+    #    max_tokens=1024,
+    #)
 
 @ls.traceable(run_type="llm", name="Connexion à Mistral : paramétrages de la conversation")
 def Generation_completion(client, data, question):
@@ -157,15 +180,23 @@ def Generation_completion(client, data, question):
    
 @cl.step(type="tool", show_input=True)
 @traceable(run_type="chain", name="Mistral Assistant des datas Gustaviz",)
-async def Affichage_reponse(response):
+async def Affichage_reponse(response, question, data):
+    memory = cl.user_session.get("memory")
     msg = cl.Message(author="COPILOT",content="")
     
-    for update in response:
-        if update.data.choices:
-            time.sleep(0.125)
-            await msg.stream_token(update.data.choices[0].delta.content.replace('Ã','é').replace('©','').replace('Ã','è').replace('¨','').replace('â','\'').replace('€','').replace('™','').replace('Å','oe').replace('“','').replace('®','î').replace('´','ô').replace('<','').replace('>','').replace('/',''))
+    async for chunk in response.astream({"question": question, "data": data},config=RunnableConfig(callbacks=[cl.AsyncLangchainCallbackHandler(stream_final_answer=True)])):
+        await msg.stream_token(chunk.replace('Ã','é').replace('©','').replace('Ã','è').replace('¨','').replace('â','\'').replace('€','').replace('™','').replace('Å','oe').replace('“','').replace('®','î').replace('´','ô').replace('<','').replace('>','').replace('/',''))
+    
+    
+    #for update in response:
+    #    if update.data.choices:
+    #        time.sleep(0.125)
+    #        await msg.stream_token(update.data.choices[0].delta.content.replace('Ã','é').replace('©','').replace('Ã','è').replace('¨','').replace('â','\'').replace('€','').replace('™','').replace('Å','oe').replace('“','').replace('®','î').replace('´','ô').replace('<','').replace('>','').replace('/',''))
     
     await msg.send()
+    memory.chat_memory.add_user_message(question)
+    memory.chat_memory.add_ai_message(msg.content)
+    
     return msg
 
 @cl.step(type="tool", show_input=True)
@@ -474,14 +505,15 @@ async def on_chat_start():
 async def main(message: cl.Message):
     if cl.user_session.get("chat_profile") != "Offres d'emploi par code ROME" and cl.user_session.get("chat_profile") != "Offres d'emploi par métier type":
         data = Chargement_des_datas(cl.user_session.get("chat_profile"))
+        data = str(data).replace("{","").replace("}","").replace("[","").replace("]","")
         cl.user_session.set("data", data)
         client = cl.user_session.get("client")
     
-        response = Generation_reponse(client, data, message.content)
+        response = Generation_reponse(client)
     
         app_inputs = {"input": message.content}
         with ls.trace("Réponse de l'assistant sur les données MIS", "chain", project_name=cl.user_session.get("chat_profile"), inputs=app_inputs) as rt:
-            msg = await Affichage_reponse(response, langsmith_extra={"metadata": {"session_id": session_id}})
+            msg = await Affichage_reponse(response, message.content, data, langsmith_extra={"metadata": {"session_id": session_id}})
             rt.end(outputs={"output": msg})
     
         answer = msg.content