Update app.py

app.py

@@ -2,18 +2,15 @@ import os
 import gradio as gr
 from langchain_community.document_loaders import PyPDFLoader
 from langchain.text_splitter import RecursiveCharacterTextSplitter
-from langchain_community.embeddings import HuggingFaceEmbeddings
+from langchain_huggingface import HuggingFaceEmbeddings, HuggingFacePipeline
 from langchain_community.vectorstores import FAISS
 from langchain.chains import ConversationalRetrievalChain
 from langchain.memory import ConversationBufferMemory
-from langchain_community.llms import HuggingFacePipeline
 from transformers import pipeline
 
-# Embeddings- und LLM-Modelle
 EMBEDDINGS_MODEL_NAME = "sentence-transformers/all-MiniLM-L6-v2"
 LLM_MODEL_NAME = "google/flan-t5-small"
 
-# **Dokumente laden und aufteilen**
 def load_and_split_docs(list_file_path):
     if not list_file_path:
         return [], "Fehler: Keine Dokumente gefunden!"
@@ -24,12 +21,10 @@ def load_and_split_docs(list_file_path):
     text_splitter = RecursiveCharacterTextSplitter(chunk_size=512, chunk_overlap=32)
     return text_splitter.split_documents(documents)
 
-# **Vektor-Datenbank mit FAISS erstellen**
 def create_db(docs):
     embeddings = HuggingFaceEmbeddings(model_name=EMBEDDINGS_MODEL_NAME)
     return FAISS.from_documents(docs, embeddings)
 
-# **Datenbank initialisieren**
 def initialize_database(list_file_obj):
     if not list_file_obj or all(x is None for x in list_file_obj):
         return None, "Fehler: Keine Dateien hochgeladen!"
@@ -38,14 +33,12 @@ def initialize_database(list_file_obj):
     vector_db = create_db(doc_splits)
     return vector_db, "Datenbank erfolgreich erstellt!"
 
-# **LLM-Kette initialisieren (Wrapper)**
 def initialize_llm_chain_wrapper(temperature, max_tokens, vector_db):
     if vector_db is None:
         return None, "Fehler: Vektordatenbank nicht initialisiert!"
     qa_chain = initialize_llm_chain(temperature, max_tokens, vector_db)
     return qa_chain, "QA-Chatbot ist bereit!"
 
-# **LLM-Kette erstellen**
 def initialize_llm_chain(temperature, max_tokens, vector_db):
     local_pipeline = pipeline(
         "text2text-generation",
@@ -63,27 +56,30 @@ def initialize_llm_chain(temperature, max_tokens, vector_db):
         return_source_documents=True
     )
 
-# **Konversation mit QA-Kette führen**
 def conversation(qa_chain, message, history):
     if qa_chain is None:
-        return None, "Der QA-Chain wurde nicht initialisiert!", history
+        return None, [{"role": "system", "content": "Der QA-Chain wurde nicht initialisiert!"}], history
     if not message.strip():
-        return qa_chain, "Bitte eine Frage eingeben!", history
+        return qa_chain, [{"role": "system", "content": "Bitte eine Frage eingeben!"}], history
     try:
-        response = qa_chain({"question": message, "chat_history": history})
+        history = history[-5:]  # Nur die letzten 5 Nachrichten übergeben
+        response = qa_chain.invoke({"question": message, "chat_history": history})
         response_text = response["answer"]
         sources = [doc.metadata["source"] for doc in response["source_documents"]]
         sources_text = "\n".join(sources) if sources else "Keine Quellen verfügbar"
-        return qa_chain, f"{response_text}\n\n**Quellen:**\n{sources_text}", history + [(message, response_text)]
+        formatted_response = [
+            {"role": "user", "content": message},
+            {"role": "assistant", "content": f"{response_text}\n\n**Quellen:**\n{sources_text}"}
+        ]
+        return qa_chain, formatted_response, history + [(message, response_text)]
     except Exception as e:
-        return qa_chain, f"Fehler: {str(e)}", history
+        return qa_chain, [{"role": "system", "content": f"Fehler: {str(e)}"}], history
 
-# **Gradio-Demo erstellen**
 def demo():
     with gr.Blocks() as demo:
-        vector_db = gr.State()  # Zustand für die Vektordatenbank
-        qa_chain = gr.State()  # Zustand für den QA-Chain
-        chat_history = gr.State([])  # Chatverlauf speichern
+        vector_db = gr.State()
+        qa_chain = gr.State()
+        chat_history = gr.State([])
 
         gr.HTML("<center><h1>RAG Chatbot mit FAISS und lokalen Modellen</h1></center>")
         with gr.Row():
@@ -100,26 +96,11 @@ def demo():
                 msg = gr.Textbox(label="Deine Frage:", placeholder="Frage eingeben...")
                 submit_btn = gr.Button("Absenden")
 
-        # **Button-Events definieren**
-        db_btn.click(
-            initialize_database,
-            inputs=[document],  # Eingabe der hochgeladenen Dokumente
-            outputs=[vector_db, db_status]  # Ausgabe: Vektor-Datenbank und Status
-        )
-        
-        qachain_btn.click(
-            initialize_llm_chain_wrapper,
-            inputs=[slider_temperature, slider_max_tokens, vector_db],
-            outputs=[qa_chain, db_status]
-        )
+        db_btn.click(initialize_database, [document], [vector_db, db_status])
+        qachain_btn.click(initialize_llm_chain_wrapper, [slider_temperature, slider_max_tokens, vector_db], [qa_chain])
+        submit_btn.click(conversation, [qa_chain, msg, chat_history], [qa_chain, chatbot, chat_history])
 
-        submit_btn.click(
-            conversation,
-            inputs=[qa_chain, msg, chat_history],  # Chatkette, Nutzerfrage, Chatverlauf
-            outputs=[qa_chain, chatbot, chat_history]  # Antwort der Kette, Chatbot-Ausgabe, neuer Verlauf
-        )
-
-    demo.launch(debug=True)  # Ohne queue=True
+    demo.launch(debug=True)
 
 if __name__ == "__main__":
     demo()