Update app.py

app.py

@@ -15,11 +15,17 @@ from pathlib import Path
 logging.basicConfig(level=logging.DEBUG, format='%(asctime)s - %(levelname)s - %(message)s')
 
 # LLM dan indexing
-from llama_index.core import Settings, VectorStoreIndex, SimpleDirectoryReader, PromptTemplate
+from llama_index.core import Settings, VectorStoreIndex, SimpleDirectoryReader, PromptTemplate, ServiceContext
+from llama_index.core.retrievers import VectorIndexRetriever
+from llama_index.core.query_engine import RetrieverQueryEngine
+from llama_index.core.postprocessor import SimilarityPostprocessor, KeywordNodePostprocessor
+from llama_index.core.node_parser import MarkdownNodeParser, SentenceSplitter
 from llama_index.llms.cerebras import Cerebras
 from llama_index.embeddings.nomic import NomicEmbedding
-from llama_index.core.node_parser import MarkdownNodeParser
 from llama_index.readers.docling import DoclingReader
+from llama_index.core.response_synthesizers import CompactAndRefine
+from llama_index.core.vector_stores import MetadataFilters, ExactMatchFilter
+from llama_index.vector_stores.faiss import FaissVectorStore
 
 # Speech-to-text dan text-to-speech dengan Groq
 from groq import Groq
@@ -54,7 +60,13 @@ groq_client = Groq(api_key=GROQ_API_KEY)
 def load_cerebras_llm():
     logging.info("Memuat Cerebras LLM")
     try:
-        llm = Cerebras(model="llama-4-scout-17b-16e-instruct", api_key=CEREBRAS_API_KEY)
+        llm = Cerebras(
+            model="llama-4-scout-17b-16e-instruct", 
+            api_key=CEREBRAS_API_KEY,
+            temperature=0.1,  # Temperatur rendah untuk mengurangi kreativitas
+            max_tokens=1024,  # Batasi panjang output
+            top_p=0.9         # Mengurangi variasi respons
+        )
         logging.debug("Cerebras LLM berhasil dimuat")
         return llm
     except Exception as e:
@@ -67,7 +79,8 @@ def create_embedding():
         embed_model = NomicEmbedding(
             model_name="nomic-embed-text-v1.5",
             vision_model_name="nomic-embed-vision-v1.5",
-            api_key=NOMIC_API_KEY
+            api_key=NOMIC_API_KEY,
+            embed_batch_size=10    # Batching untuk performa
         )
         Settings.embed_model = embed_model
         logging.debug("Embedding model berhasil di-set")
@@ -97,27 +110,107 @@ def load_documents(file_list):
             for doc in docs:
                 # Menyimpan metadata sumber dokumen
                 doc.metadata["source"] = file_name
+                doc.metadata["file_name"] = file_name
                 documents.append(doc)
         if not documents:
             logging.error("Tidak ditemukan dokumen yang valid.")
             return "Tidak ditemukan dokumen yang valid.", None
 
         llm = load_cerebras_llm()
-        create_embedding()
-        node_parser = MarkdownNodeParser()
+        embed_model = create_embedding()
+        
+        # Gunakan SentenceSplitter untuk chunking yang lebih baik
+        node_parser = SentenceSplitter(
+            chunk_size=512,       # Ukuran chunk
+            chunk_overlap=50,     # Overlap antar chunk untuk menjaga konteks
+            separator=" ",        # Pemisah
+            paragraph_separator="\n\n",
+            secondary_chunking_regex="[^,.;。]+[,.;。]?",
+        )
+        
+        # Set service context untuk pengaturan global
+        service_context = ServiceContext.from_defaults(
+            llm=llm,
+            embed_model=embed_model,
+            node_parser=node_parser
+        )
+        Settings.llm = llm
+        Settings.embed_model = embed_model
+        
         # Custom prompt yang memaksa jawaban hanya berdasarkan dokumen
-        custom_prompt = """
-        You are a helpful assistant that can only answer questions based solely on the provided document context.
-        If the answer is not contained within the document context, respond with "I don't have enough information about that aspect of the document."
-        Context:
+        qa_template = """
+        Kamu adalah asisten yang sangat hati-hati yang hanya menjawab berdasarkan informasi yang ada dalam dokumen. 
+        Jika pertanyaan tidak dapat dijawab hanya berdasarkan konteks, katakan "Maaf, saya tidak menemukan informasi tersebut dalam dokumen yang diberikan."
+        
+        Jika pertanyaannya tidak relevan dengan dokumen, katakan "Pertanyaan ini tidak relevan dengan dokumen yang sedang dianalisis."
+        
+        Jangan pernah mengada-ada atau membuat informasi. Jika kamu tidak yakin, katakan bahwa kamu tidak bisa menjawab dengan pasti berdasarkan dokumen.
+        
+        Saat menjawab, selalu berikan kembali sumber informasimu dengan format yang jelas.
+        
+        Konteks Dokumen:
         {context_str}
-        Query: {query_str}
-        Answer:"""
-        qa_prompt_tmpl = PromptTemplate(custom_prompt)
-        index = VectorStoreIndex.from_documents(documents, transformations=[node_parser], show_progress=True)
-        Settings.llm = llm
-        query_engine = index.as_query_engine(streaming=True)
-        query_engine.update_prompts({"response_synthesizer:text_qa_template": qa_prompt_tmpl})
+        
+        Pertanyaan: {query_str}
+        
+        Jawabanmu (hanya berdasarkan konteks dokumen):
+        """
+        qa_prompt_tmpl = PromptTemplate(qa_template)
+        
+        # Inisialisasi FAISS Vector Store
+        vector_store = FaissVectorStore(dim=embed_model.embed_dim)
+        
+        # Parse dokumen menjadi node
+        nodes = node_parser.get_nodes_from_documents(documents)
+        
+        # Embed nodes dan simpan ke FAISS
+        for i, node in enumerate(nodes):
+            if i % 10 == 0:
+                logging.debug(f"Embedding node {i+1}/{len(nodes)}")
+            node_embedding = embed_model.get_text_embedding(
+                node.get_content(metadata_mode="all")
+            )
+            node.embedding = node_embedding
+            vector_store.add(node_embedding, node.node_id, node)
+        
+        logging.info(f"Berhasil embedding {len(nodes)} nodes ke FAISS vector store")
+        
+        # Buat index dengan FAISS vector store
+        index = VectorStoreIndex.from_vector_store(
+            vector_store=vector_store,
+            service_context=service_context,
+            show_progress=True
+        )
+        
+        # Buat retriever dengan parameter yang dioptimalkan
+        retriever = VectorIndexRetriever(
+            index=index,
+            similarity_top_k=5,                # Ambil 5 dokumen teratas
+            vector_store_query_mode="hybrid",  # Gunakan hybrid search (keyword + semantic)
+            alpha=0.5                          # Bobot untuk hybrid search
+        )
+        
+        # Buat postprocessor untuk penyaringan hasil retrieval
+        postprocessors = [
+            SimilarityPostprocessor(similarity_cutoff=0.7),  # Hapus hasil dengan skor rendah
+            KeywordNodePostprocessor(required_keywords=[]),   # Filter by keyword (opsional)
+        ]
+        
+        # Buat response synthesizer yang lebih robust
+        response_synthesizer = CompactAndRefine(
+            service_context=service_context,
+            text_qa_template=qa_prompt_tmpl,
+            refine_template=qa_prompt_tmpl,
+            verbose=True
+        )
+        
+        # Buat query engine dengan komponen yang dioptimalkan
+        query_engine = RetrieverQueryEngine(
+            retriever=retriever,
+            response_synthesizer=response_synthesizer,
+            node_postprocessors=postprocessors
+        )
+        
         file_key = f"doc-{uuid.uuid4()}"
         global_file_cache[file_key] = query_engine
         logging.info(f"Berhasil memuat {len(documents)} dokumen: {', '.join(doc_names)} dengan file_key: {file_key}")
@@ -139,15 +232,34 @@ async def document_chat(file_key: str, prompt: str, audio_file=None, translate_a
             transcription = transcribe_or_translate_audio(audio_file, translate=translate_audio)
             logging.debug(f"Hasil transkripsi: {transcription}")
             prompt = f"{prompt} {transcription}".strip()
+        
+        # Pastikan prompt valid dan tidak kosong
+        if not prompt or prompt.strip() == "":
+            return history + [("", "Pertanyaan tidak boleh kosong. Silakan ajukan pertanyaan.")]
+        
+        # Proses query
         response = await asyncio.to_thread(query_engine.query, prompt)
         answer = str(response)
-        # Tambahkan informasi sumber dokumen
-        if hasattr(response, "get_documents"):
-            docs = response.get_documents()
-            if docs:
-                sources = "\n\n".join([f"Source: {doc.metadata.get('source', 'No source')}" for doc in docs])
-                answer = answer + "\n\n" + sources
-        return history + [(prompt, answer)]
+        
+        # Tambahkan informasi sumber dokumen dengan format yang lebih jelas
+        sources_text = ""
+        if hasattr(response, "source_nodes") and response.source_nodes:
+            sources = []
+            for i, node in enumerate(response.source_nodes, 1):
+                source = node.metadata.get('source', 'Tidak ada sumber')
+                score = node.score if hasattr(node, 'score') else 'N/A'
+                content_preview = node.get_content()[:100] + "..." if len(node.get_content()) > 100 else node.get_content()
+                sources.append(f"[{i}] Sumber: {source} (Relevansi: {score:.2f})\nPreview: {content_preview}")
+            sources_text = "\n\n" + "Sumber Informasi:\n" + "\n".join(sources)
+        
+        # Jika tidak ada sumber yang relevan dan jawaban terlalu generik, kembalikan informasi tidak ditemukan
+        if (not hasattr(response, "source_nodes") or not response.source_nodes) and \
+           not "tidak menemukan informasi" in answer.lower():
+            answer = "Maaf, saya tidak menemukan informasi yang relevan dalam dokumen yang diberikan."
+        
+        final_answer = answer + sources_text
+        
+        return history + [(prompt, final_answer)]
     except Exception as e:
         logging.error(f"Error processing document_chat: {e}")
         return history + [(prompt, f"Error processing query: {str(e)}")]
@@ -253,7 +365,12 @@ def doc_chat_with_tts(prompt, history, file_key, audio_file, translate, voice, e
             audio_path = None
         else:
             logging.info("Memulai konversi jawaban akhir ke audio dengan TTS")
-            audio_path = convert_text_to_speech(last_assistant, voice)
+            # Hapus bagian sumber untuk TTS
+            if "Sumber Informasi:" in last_assistant:
+                tts_text = last_assistant.split("Sumber Informasi:")[0].strip()
+            else:
+                tts_text = last_assistant
+            audio_path = convert_text_to_speech(tts_text, voice)
             logging.info(f"Audio output dihasilkan: {audio_path}")
     else:
         audio_path = None