Update app.py

app.py

@@ -13,8 +13,14 @@ from openai import AzureOpenAI
 import json 
 from qdrant_client.http import models as rest
 import time
+from fastembed.sparse.bm25 import Bm25
+from fastembed.late_interaction import LateInteractionTextEmbedding
+
+dense_embedding_model = import_embedding()
+
+late_interaction_embedding_model = LateInteractionTextEmbedding("colbert-ir/colbertv2.0")
+bm25_embedding_model = Bm25("Qdrant/bm25", language="turkish")
 
-embeddings = import_embedding()
 AZURE_OPENAI_KEY = os.getenv('azure_api')
 os.environ['AZURE_OPENAI_KEY'] = AZURE_OPENAI_KEY
 openai.api_version = "2024-08-01-preview" # change it with your own version
@@ -30,15 +36,47 @@ qclient = obj_qdrant.initialize_db()
 obj_loader = PDFLoader()
 
 # -----
-def retriever_db(db, CAR_ID):
+def retriever_db(client, query, collection_name, CAR_ID):
 
-        retriever = db.as_retriever(search_kwargs={'k': 4}, filter=rest.Filter(
-            must=[
-                models.FieldCondition(key="car_id", match=models.MatchValue(value=CAR_ID))
-                ]
-              ))
+    dense_query_vector = list(dense_embedding_model.embed_documents([query]))[0]
+    sparse_query_vector = list(bm25_embedding_model.query_embed(query))[0]
+    late_query_vector = list(late_interaction_embedding_model.query_embed(query))[0].tolist()
+    
+    prefetch = [
+        models.Prefetch(
+            query=dense_query_vector,
+            using="sfr-mistral",
+            limit=30,
+            ),
+        models.Prefetch(
+            query=models.SparseVector(**sparse_query_vector.as_object()),
+            using="bm25",
+            limit=30,
+            ),
+        models.Prefetch(
+            query=late_query_vector,
+            using="colbertv2.0",
+            limit=30,
+            ),
+            ]
+    
+    results = client.query_points(
+        collection_name,
+        prefetch=prefetch,
+        query=models.FusionQuery(
+            fusion=models.Fusion.RRF,
+        ),
+        with_payload=True,
+        filter=models.Filter(
+                must=[
+                    models.FieldCondition(key="car_id", match=models.MatchValue(value=CAR_ID))
+                    ])
+                  
+        limit=10,
+    )
+    retrieved_chunks = [doc.payload for doc in results.points]
         
-        return retriever
+    return retrieved_chunks
 
 ## new version
 def chat_gpt(prompt=None, history=[], model=model, client=client, tools=[None]):
@@ -94,10 +132,12 @@ def get_section_content(section_title, sub_section_title, sub_sub_section_title,
     response = None
     try:
         response = doc_section_content["TableOfContents"][section_title][sub_section_title][sub_sub_section_title]["content"]
-        
+        pages = doc_section_content["TableOfContents"][section_title][sub_section_title][sub_sub_section_title]["pages"]
+
+        response = {"metadata":{"pages": pages}, "page_content": response}
     except:
         pass
-
+    
     return response
 
 def get_lead_result(question):
@@ -185,6 +225,32 @@ def format_chat_prompt(chat_history):
         prompt.append({"role": "assistant", "content": ai_message})
     
     return prompt
+
+class GradeDocuments(BaseModel):
+    """Binary score for relevance check on retrieved documents."""
+
+    binary_score: str = Field(description="Documents are relevant to the question, 'yes' or 'no'")
+
+def grade_document_with_openai(document: str, question: str) -> GradeDocuments:
+    system_message = """
+    You are a grader assessing relevance of a retrieved document to a user question. 
+    Consider the following when making your assessment: 
+    - Does the document directly or indiretly address the user's question? 
+    - Does it provide information or context that is pertinent to the question? 
+    - Does it discuss relevant risks, benefits, recommendations, or considerations related to the question? 
+    If the document contains keyword(s) or semantic meaning related or partially related to the question, grade it as relevant. 
+    Give a binary score 'yes' or 'no' score to indicate whether the document is relevant to the question. 
+    """
+    response = client.chat.completions.create(
+            model=model, 
+            messages=[
+                {"role": "system", "content": system_message},
+                {"role": "user", "content": f'Retrieved document: \n\n {document} \n\n User question: {question}'}
+            ]
+        )
+
+    score = response.choices[0].message.content
+    return GradeDocuments(binary_score=score.strip())
     
 liked_state = gr.State(None)
 last_interaction = gr.State(None)
@@ -199,9 +265,9 @@ def chat(question, manual, history, liked):
                    "Renault_Clio_2024_TR":-5514489544983735006, 
                    "Fiat_Egea_2024_TR":-2026113796962100812}
     
-    collection_list = {"Toyota_Corolla_2024_TR": "TOYOTA_MANUAL_COLLECTION_EMBED3", 
-                    "Renault_Clio_2024_TR": "RENAULT_MANUAL_COLLECTION_EMBED3", 
-                    "Fiat_Egea_2024_TR": "FIAT_MANUAL_COLLECTION_EMBED3"}
+    collection_list = {"Toyota_Corolla_2024_TR": "HYBRID_TOYOTA_MANUAL_COLLECTION_EMBED3", 
+                    "Renault_Clio_2024_TR": "HYBRID_RENAULT_MANUAL_COLLECTION_EMBED3", 
+                    "Fiat_Egea_2024_TR": "HYBRID_FIAT_MANUAL_COLLECTION_EMBED3"}
     
     collection_name = collection_list[manual]
 
@@ -212,28 +278,24 @@ def chat(question, manual, history, liked):
         content = json.loads(file.read())
     print("ToCs:--- %s seconds ---" % (time.time() - start_time))
  
-    start_time = time.time()
-    db = obj_loader.load_from_database(embeddings=embeddings, collection_name=collection_name)
-    print("DB Load:--- %s seconds ---" % (time.time() - start_time))
-
-    CAR_ID = manual_list[manual]
-    
-    retriever = retriever_db(db, CAR_ID)
+    # start_time = time.time()
+    # db = obj_loader.load_from_database(embeddings=embeddings, collection_name=collection_name)
+    # print("DB Load:--- %s seconds ---" % (time.time() - start_time))
 
     start_time = time.time()
 
     for i in range(3):
         first_hop = f"""Soruyu cevaplarken:
         1- Önce soruyu düşün.
-        2- Kullanıcının sorduğu sorunun konu başlıkları neler olabilir?  
-        3- Bu konu başlıkları kullanım kılavuzu içindekiler tablosu başlıkları ile alakalı mı?
-        4- Alakalı olabilecek tüm başlıkları türet.
+        2- Kullanıcının sorduğu sorunun konu başlıkları neler olabilir? 
+        3- Sorulan soru bir arızaya işaret ediyo olabilir mi?
+        4- Bu konu başlıkları kullanım kılavuzu içindekiler tablosu başlıkları ile alakalı mı?
+        5- Alakalı olabilecek tüm başlıkları türet.
         Buna göre, aşağıda vereceğim kullanım kılavuzu içindekiler tablosu (başlıklar) bilgisini kullanarak bu içeriğe erişmek için uygun fonksiyonları üret.
         
         Eğer herhangi bir içeriğe ulaşamazsan, bunu belir ve sorunun cevabı hakkında yorum yapma.
         Kullanım Kılavuzu İçindekiler Tablosu:
         {content}
-
         """
         # conv = [{"role": "system", "content": f"{first_hop}"}]
         # conv.append({"role": "system", "content": f"{first_hop}"})
@@ -260,107 +322,80 @@ def chat(question, manual, history, liked):
     print("First_hop:--- %s seconds ---" % (time.time() - start_time))
     
     path = "Contents/" + manual + ".json"
-
-    # start_time = time.time()
-    # i = 0
-    # while(i < 2):
-#         tool_calls = first_hop_response.choices[-1].message.tool_calls
-#         if tool_calls:
-#             for tool_call in tool_calls:
-#                 function_name = tool_call.function.name
-#                 args = json.loads(tool_call.function.arguments)
-#                 print(f"Will call {function_name} with arguments {args}")
-            
-#                 if function_name == 'get_section_content':
-#                     addition = get_section_content(str(args['section_title']), str(args['sub_section_title']), str(args['sub_sub_section_title']), content_path=path)
-#                     if not addition:
-#                         addition = ' '
-                        
-#                 conv.append({
-#                     "tool_call_id": tool_call.id,
-#                     "role": "tool",
-#                     "name": function_name,
-#                     "content": addition
-#                     })
-#             first_hop_response = chat_gpt(prompt=None, history=conv, tools=retrieval_functions)
-#         else:
-#             conv.append(first_hop_response.choices[-1].message)
-#             break
-#         i += 1
-
-    # print("Second_hop:--- %s seconds ---" % (time.time() - start_time))
     
     start_time = time.time()
     documents = []
     for i in arg_list:
         documents.append(get_section_content(str(i['section_title']), str(i['sub_section_title']), str(i['sub_sub_section_title']), content_path=path))
-        
-    documents_db = retriever.invoke(question)
-    documents.append(documents_db)
+
+    CAR_ID = manual_list[manual]
     
+    documents_db = retriever_db(qclient, query, collection_name, CAR_ID)
+    
+    for i in documents_db:
+        documents.append(i)
+        
     print("Retriever:--- %s seconds ---" % (time.time() - start_time))
 
     start_time = time.time()
-    if get_lead_result(question).lower() == 'yes':
+    graded_doc = []
+    for r in documents:
+    
+        grade = grade_document_with_openai(r, query)
+    
+        if grade.binary_score == "yes":
+            graded_doc.append(r)
+    print("Grade Doc:--- %s seconds ---" % (time.time() - start_time))
+    
+
+    start_time = time.time()
+    if get_lead_result(query).lower() == 'yes':
         lead = """ Her zaman tamirci yerine geçen "Servis", "Yetkili Servis", ""... servisi", ""... yetkili servisi", "bakım" gibi ifadeler yerine yalnızca "OtoBakım Servisi" yazmalısın.
         Cevabın sonunda, "Nasıl devam edeceğinizden emin değilseniz." ifadesiyle başlayarak, kullanıcılara hızlı ve uygun fiyatlı çözümler için OtoBakım mağazalarını ziyaret etmelerini teklif etmelisin."""
         print('Lead: yes')
     else:
-        lead = 'Her zaman tamirci yerine geçen "Servis", "Yetkili Servis", ""... servisi", ""... yetkili servisi", "bakım" gibi ifadeler yerine yalnızca "OtoBakım Servisi" yazmalısın.' 
+        lead = 'Her zaman tamirci yerine geçen "Servis", "Yetkili Servis", ""... servisi", ""... yetkili servisi", "bakım" gibi ifadeler yerine yalnızca "OtoBakım Servisi" yazmalısın. Sorunun tipine göre OtoBakım servislerine yönlendirme yapmalısın.' 
         print('Lead: no')
-    print("Lead Check:--- %s seconds ---" % (time.time() - start_time))
+        print("Lead Check:--- %s seconds ---" % (time.time() - start_time))
 
     start_time = time.time()
     prompt = f"""
-        Sen, yalnızca araba sorunları ve araç bilgilerine odaklanan, ARVI adında uzman bir asistansın. 
-        Amacın, araba sorunları, bakım, onarımlar, teknik özellikler ve diğer araçla ilgili konularla ilgili sorulara doğru, yardımcı ve net cevaplar vermektir.
+    Sen, yalnızca araba ile ilgili sorunlara ve araç bilgilerine odaklanan, ARVI adında uzman bir asistansın. 
+    Amacın, araba sorunları, bakım, onarımlar, teknik özellikler ve diğer araçla ilgili konularla ilgili sorulara eğer dokümanlarda yeterli bilgi varsa doğru, yardımcı, net ve yorum yapmadan cevaplar vermektir.
+    Temel nezaket etkileşimlerine uygun ve kibar bir şekilde yanıt vermek için tasarlandın.
     
-        Ayrıca, temel nezaket etkileşimlerine uygun ve kibar bir şekilde yanıt vermek için tasarlandın. İşte yönergeler:
-
-        1. Araba Sorunları ve Araç Bilgileri:
-
-            - Araba sorunları, teşhis, onarımlar, bakım ve araç teknik özellikleri ile ilgili soruları her zaman yanıtla.
-            - Soruları yanıtlarken yorum yapma ve kişisel görüşlerini belirtme.
-
-        2. Referanslar:
-
-            - Bir soruyu yanıtlarken, cevabın sonunda, faydalandığın dokümanın sayfa numarasını veya bölümünü mutlaka referans olarak ekle.
-            - Aynı referansı tekrar etme.
-            - Doküman kullandığın cevaplarda referans eklemek zorundasın.
-            - Doküman kullanamadığında zaten cevap veremezsin.
-            
-        Lead: {lead} \n
-
-        Dokümanlarda verilen tüm bilgilere dayanarak, aşağıdaki soruyu kısaca yanıtla: \n
-        Sorulara cevap verirken sana sağlanan bilgilerdeki uyarılara, tehlikelere vurgu yap. \n
+    Soruları yanıtlarken aşağıdaki adımları izle: \n
+        - Dokümanlar soruyla ilgiliyse, soruyu yanıtlamak için dokümanlardan yararlan.
+        - Sorulara cevap verirken sana sağlanan bilgilerdeki uyarılara, tehlikelere vurgu yap ve öne çıkar.
+        - Soruları yanıtlarken yorum yapma, kişisel görüşlerini belirtme ve önceki bilgilerini kullanma.
+        - Dokümandakiler dışında terim ve bilgileri kullanma.
+        - Eğer dokümanlarda bir işlemin nasıl yapıldığı adım adım anlatılıyorsa, bu adımları direkt şekilde ekle.
+        - Dokümanlarda farklı motor modellerine göre bilgi veriliyorsa, aracın motor modelini belirt.
+        - Kullanıcıya doğrudan cevap ver.
+        - Cevaplar kısa ama anlamlı ve yeterli olsun. 
+        - Her cevabında kullandığın tüm kaynakları göster.
+        - Cevap verirken aşağıdaki kaynak verme kurallarına uy:
+            * Sayfa numaralarını küçükten büyüğe sırala.
+            * Aynı cümle içinde tekrar eden sayfa numaralarını eleme.
+            * Aynı numarayı birden fazla kez yazma.
+            * Cevabın sonunda kullanılan tüm kaynakları listele:
+                Kaynaklar:
+                - Sayfa **: [Doküman adı veya kısa açıklama]
+                - Sayfa **: [Doküman adı veya kısa açıklama]
+    
+        Ek yönerge: {lead} \n
+    
+    Son Kontrol:
+        - Cevabın doğruluğunu ve tamlığını kontrol et.
+        - Gereksiz bilgi veya yorum olup olmadığını kontrol et.
+        - Referansların doğru eklendiğinden emin ol.
+    
+    Eğer dokümanlar boş ise: "Üzgünüm, kılavuzda bu konuyla ilgili bilgi bulamadım. Bu soruyu yanıtlayamıyorum." 
+    Soru çok genel ise, spesifik bilgi iste.
+    
+    Dokümanlar: {graded_doc}
+    """
 
-        Dokümanlar: {documents}
-        Elde ettiğin bilgiler soru ile ilgili görünmüyorsa cevap veremeyeceğini belirt.
-        
-        Kullanıcıya doğrudan cevap ver. \n
-        Soru çok genel ise, spesifik bilgi iste. \n
-        Eğer sorunun cevabına ulaşamadıysan, bu soruya cevap veremeyeceğini belirt.
-        Kesinlikle cevaplar üzerine yorum yapma ve bilgi dağarcığını kullanma.
-        Referans verme örneği:
-            Ref-1:
-            Ref-2:
-            ...
-            """
-    #final_response = chat_gpt_nofn(prompt=prompt, history=conv)
-    #response = final_response.choices[-1].message.content
-    #conv.append(final_response.choices[-1].message)
-    
-    #history.append((question, response))  
-    #print("Answer:--- %s seconds ---" % (time.time() - start_time))
-    # Store the last interaction without saving to the database yet
-    #last_interaction.value = {
-    #    "question": question,
-    #    "response": response,
-    #    "manual": manual,
-    #    "point_id": uuid.uuid4().hex
-    #}
-    
-    #return '', history
     conv.append({"role": "system", "content": f"{prompt}"})
     final_response = chat_gpt_nofn(prompt=f"Soru: {question}", history=conv)
     # final_response = chat_gpt_nofn(prompt=prompt, history=conv)
@@ -399,10 +434,10 @@ def save_last_interaction(feedback):
     if last_interaction.value:
         DatabaseOperations.save_user_history_demo(
             qclient,
-            "USER_COLLECTION_EMBED3_v2",
+            "USER_COLLECTION_EMBED3_v3",
             last_interaction.value["question"],
             last_interaction.value["response"],
-            embeddings,
+            dense_embedding_model,
             last_interaction.value["point_id"],
             last_interaction.value["manual"],
             feedback