Add dotenv support and enhance agent selection in app.py; refactor get_retreive_answer to handle multiple namespaces in vectore_store.py

app.py

@@ -7,11 +7,14 @@ from langchain.prompts import PromptTemplate
 from pinecone import Pinecone, ServerlessSpec
 
 from vectore_store import get_retreive_answer
+from dotenv import load_dotenv
 
+load_dotenv()
 
 PINECONE_API_KEY = os.environ.get("PINECONE_API_KEY")
 index_name = os.environ.get("PINECONE_INDEX_NAME")
 
+print(PINECONE_API_KEY)
 pc = Pinecone(api_key=PINECONE_API_KEY)
 
 
@@ -29,18 +32,6 @@ if index_name not in existing_indexes:
 
 index = pc.Index(index_name)
 
-# Créez un modèle OpenAI
-llm = ChatOpenAI(model="gpt-4o-mini")
-
-# Créez un template de prompt pour l'IA
-prompt = PromptTemplate(
-    input_variables=["question"],
-    template="Voici une question : {question}. Réponds de manière concise et claire."
-)
-
-# Chaîne qui combine le modèle LLM et le prompt
-llm_chain = prompt | llm  # Nouvelle façon d'utiliser LLMChain
-
 # Initialiser l'historique s'il n'existe pas déjà
 if "history" not in st.session_state:
     st.session_state["history"] = []
@@ -49,6 +40,79 @@ if "history" not in st.session_state:
 st.title("Application LLM avec LangChain")
 st.write("Posez une question au modèle de langage et obtenez une réponse.")
 
+# Sélectionnez l'agent via un bouton radio
+# Sélectionnez le type d'agent via un bouton radio
+agent_type = st.radio(
+    "Choisissez le type d'agent :",
+    ("Agent IA Service Client Augmenté", "Agent IA Produit Augmenté", "Agent Campaign Marketing"), # "Agent IA Commercial Augmenté",
+    index=0  # "Agent IA Service Client Augmenté" est sélectionné par défaut
+)
+
+# Configuration des templates et namespaces en fonction de l'agent sélectionné
+# Configuration des templates et namespaces en fonction de l'agent sélectionné
+if agent_type == "Agent IA Service Client Augmenté":
+    namespaces = ["chat","tic_email"]
+    prompt_template = PromptTemplate(
+        input_variables=["question","context","messages"],
+        template=(
+            "Votre rôle est d’agir comme un Agent IA de Service Client Augmenté. Vous devez :\n\n"
+            "1. Anticiper les besoins et insatisfactions des clients :\n"
+            "   - Identifiez les questions et préoccupations potentielles des clients avant même qu’ils ne les expriment.\n\n"
+            "2. Pré-générer des réponses adaptées :\n"
+            "   - En fonction des questions les plus fréquentes et des problèmes courants, proposez des réponses prédéfinies qui peuvent être facilement adaptées aux situations spécifiques.\n\n"
+            "3. Améliorer les processus et formations internes :\n"
+            "   - Fournissez des suggestions basées sur les retours clients pour optimiser les processus internes de service client et améliorer les formations des agents.\n\n"
+            "### Objectif :\n"
+            "Fournir des réponses réactives et de qualité, afin d’accroître la satisfaction client et d’optimiser les performances du service.\n"
+            "Sachant le context suivant: {context}, et l'historique de la conversation: {messages}, {question}\n"
+        )
+    )
+elif agent_type == "Agent IA Produit Augmenté":
+    namespaces = ["chat","tic_email"]
+    prompt_template = PromptTemplate(
+        input_variables=["question","context","messages"],
+        template=(
+            "Votre rôle est d’agir comme un Agent IA Produit Augmenté et responsable du service Produit :\n\n"
+            "1. Fournir des données objectives pour les réunions de feedback :\n"
+            "   - Catégorisation, Quantification et Reporting des données liées à nos produits et services.\n\n"
+            "2. Identifier rapidement les tendances et opportunités :\n"
+            "   - Analysez les données pour déceler les tendances et proposer des améliorations.\n\n"
+            "3. Détecter et résoudre les problèmes en temps réel :\n"
+            "   - Surveillez en continu la satisfaction des clients et identifiez les problèmes potentiels.\n\n"
+            "### Objectif :\n"
+            "Aider à prioriser les actions basées sur des données, gagner du temps, et améliorer la satisfaction client.\n"
+            "Sachant le context suivant: {context}, et l'historique de la conversation: {messages}, {question}\n"
+        )
+    )
+# elif  agent_type == "Agent IA Commercial Augmenté":
+#     namespaces = ["chat","tic_email"]
+#     prompt_template = PromptTemplate(
+#         input_variables=["question"],
+#         template=(
+#             "Votre rôle est d’agir comme un Agent IA Commercial Augmenté. Vous devez :\n\n"
+#             "1. Détection de pistes business dans le CRM :\n"
+#             "   - Analysez les données du CRM pour identifier les opportunités de vente qui sont actuellement détectées manuellement.\n\n"
+#             "### Objectif :\n"
+#             "Automatiser la détection des pistes commerciales et augmenter l'efficacité des processus de vente."
+#         )
+#     )
+elif agent_type == "Agent Campaign Marketing":
+    namespaces = ["campaigns"]
+    prompt_template = PromptTemplate(
+        input_variables=["question","context","messages"],
+        template=(
+            "Votre rôle est d’agir comme un Agent IA de Campaign Marketing.\n\n"
+            "Proposes des campagnes marketing qualitatives, ciblées et efficace.\n"
+            "Sachant le context suivant: {context}, et l'historique de la conversation: {messages}, {question}\n"
+        )
+    )
+
+# Créez un modèle OpenAI
+llm = ChatOpenAI(model="gpt-4o-mini")
+
+# Chaîne qui combine le modèle LLM et le prompt
+llm_chain = prompt_template | llm  # Nouvelle façon d'utiliser LLMChain
+
 # Champ pour entrer la question
 question = st.text_input("Votre question :")
 
@@ -56,7 +120,7 @@ question = st.text_input("Votre question :")
 if st.button("Envoyer"):
     if question:
 
-        context = get_retreive_answer(index, namespace="chat", prompt=question)
+        context = get_retreive_answer(index, namespaces=namespaces, prompt=question)
         if not context:
             print("no context found for prompt reormatting")
 
@@ -64,9 +128,13 @@ if st.button("Envoyer"):
             print(chunk.metadata)
             chunk_name = chunk.metadata["filename"]
 
+        if st.session_state["history"]:
+            messages = st.session_state["history"]
+        else:
+            messages = []
 
         # Utilisation de la chaîne pour obtenir une réponse
-        response = llm_chain.invoke({"question": question, "context": context})  # Utilisation de invoke() au lieu de run()
+        response = llm_chain.invoke({"question": question, "context": context, "messages": messages})  # Utilisation de invoke() au lieu de run()
         
         # Ajouter la question et la réponse à l'historique
         st.session_state["history"].append({"question": question, "response": response.content})

vectore_store.py

@@ -172,35 +172,96 @@ def get_vectorstore_from_json(json_file, namespace, index):
     except Exception as e:
         print(f"Error: {e}")
         return False
+
+
+def get_vectorstore_from_json_data(json_data, namespace, index):
+    """
+    Fonction pour traiter un fichier JSON et insérer les embeddings dans Pinecone.
+    
+    Parameters:
+    - json_data: Chemin vers le fichier JSON.
+    - namespace: Namespace Pinecone pour stocker les vecteurs.
+    - index: Objet d'index Pinecone.
+    
+    Returns:
+    - dict avec filename_id en cas de succès ou False en cas d'échec.
+    """
+    try:
+        # Initialiser le modèle d'embeddings OpenAI
+        embedding = OpenAIEmbeddings(model="text-embedding-3-large")  # Remplacez par votre choix de modèle
+        vector_store = PineconeVectorStore(index=index, embedding=embedding, namespace=namespace)
+
+        # Nettoyer le nom de fichier (pour des IDs uniques)
+        filename = json_data['_id']
+        # clean_filename = filename.replace(" ", "_").replace("-", "_").replace(".", "_").replace("/", "_").replace("\\", "_").strip()
+
+        # Préparer les documents et UUIDs
+        documents = []
+        uuids = []
+
+        # # Itérer à travers chaque entrée du JSON
+        # for i, entry in enumerate(data):
+        #     # Concaténer toutes les propriétés de l'entrée
+        #     combined_text = " ".join(str(value) for value in entry.values())
+
+        text_chunks = get_text_chunks(json.dumps(json_data, indent=4))
+
+        for j, chunk in enumerate(text_chunks):
+            # Créer un objet Document pour chaque morceau de texte combiné
+            document = Document(
+                page_content=chunk,
+                metadata={"filename": filename, "filename_id": filename, "chunk_index": j}  # Ajout de toutes les propriétés de l'entrée
+            )
+
+            # Générer un ID unique pour chaque document (entrée)
+            uuid = f"{filename}_{j}"  # Ajouter l'index à l'ID unique
+            print(uuid)
+            uuids.append(uuid)
+            documents.append(document)
+
+        # Insérer les documents dans Pinecone
+        vector_store.add_documents(documents=documents, ids=uuids)
+
+        # Retourner l'ID de fichier après insertion réussie
+        return {"filename_id": filename}
+
+    except Exception as e:
+        print(f"Error: {e}")
+        return False
     
 
-def get_retreive_answer(index,namespace,prompt):
+def get_retreive_answer(index, namespaces, prompt):
     try:
-        
         embedding = OpenAIEmbeddings(model="text-embedding-3-large")
-        vector_store_chat = PineconeVectorStore(index=index, embedding=embedding,namespace=namespace)
+        responses = []
 
-        retriever_chat = vector_store_chat.as_retriever(
-            search_type="similarity_score_threshold",
-            search_kwargs={"k": 3, "score_threshold": 0.6},
-        )
-        
-        vector_store_tic = PineconeVectorStore(index=index, embedding=embedding,namespace=namespace)
+        for namespace in namespaces:
+            print(f"Searching for context in namespace '{namespace}'")
+
+            # Initialiser le vector store avec le namespace courant
+            vector_store = PineconeVectorStore(index=index, embedding=embedding, namespace=namespace)
+
+            # Configurer le retriever
+            retriever = vector_store.as_retriever(
+                search_type="similarity_score_threshold",
+                search_kwargs={"k": 20, "score_threshold": 0.6},
+            )
 
-        retriever_tic = vector_store_tic.as_retriever(
-            search_type="similarity_score_threshold",
-            search_kwargs={"k": 3, "score_threshold": 0.6},
-        )
+            # Récupérer la réponse pour le namespace courant
+            response = retriever.invoke(prompt)
 
-        response = retriever_chat.invoke(prompt) + retriever_tic.invoke(prompt)
+            if response:
+                print(f"Found context in namespace '{namespace}'")
+                responses += response
+            else:
+                print(f"No context found in namespace '{namespace}'")
 
-        if response:
-            print("found enterprise context")
+        if responses:
+            return responses
         else:
-            print("no enterprise context")
+            print("No context found in any namespace")
+            return []
 
-        return response
-    
     except Exception as e:
         print(e)
-        return False
+        return False