Da controllare

app.py

@@ -1,5 +1,3 @@
-# app.py nuovo
-
 import gradio as gr
 import logging
 from app.logging_config import configure_logging

app/config.py

@@ -11,13 +11,17 @@ load_dotenv()
 
 # Configurazione del modello
 OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
+DEEPSEEK_API_KEY = os.getenv("DEEPSEEK_API_KEY")
 if not OPENAI_API_KEY:
     raise ValueError("OPENAI_API_KEY non trovata. Verifica il file .env")
+if not DEEPSEEK_API_KEY:
+    raise ValueError("DEEPSEEK_API_KEY non trovata. Verifica il file .env")
 
 class LLMType(Enum):
     OPENAI_GPT_4O_MINI = "openai - GPT-4o-mini"
     LOCAL_QWEN = "local - Qwen 7B"
     LOCAL_PHI = "local - Phi-3 Mini"
+    DEEPSEEK = "deepseek - DeepSeek Chat"
 
 # Configurazione modelli
 LLM_CONFIGS = {
@@ -35,6 +39,11 @@ LLM_CONFIGS = {
         "client": lambda: OpenAI(base_url="http://192.168.43.199:1234/v1", api_key="not-needed"),
         "model": "phi-3.5-mini-ita",
         "base_url": "http://192.168.43.199:1234/v1"
+    },
+    LLMType.DEEPSEEK: {
+        "client": lambda: OpenAI(api_key=DEEPSEEK_API_KEY, base_url="https://api.deepseek.com/v1"),
+        "model": "deepseek-chat",
+        "base_url": "https://api.deepseek.com/v1"
     }
 }
 
@@ -42,10 +51,14 @@ EMBEDDING_CONFIG = {
     "model_name": "sentence-transformers/multi-qa-mpnet-base-dot-v1",
     "chunk_size": 2000,
     "chunk_overlap": 100,
-    "k_documents": 5,
     "min_similarity": 0.7
 }
 
+LLM_CONFIGS_EXTENDED = {
+    "temperature": 0.7,
+    "max_tokens": 2048
+}
+
 # Aggiungi questa costante
 EMBEDDING_MODEL = "sentence-transformers/multi-qa-mpnet-base-dot-v1"
 

app/configs/prompts.py

@@ -3,16 +3,16 @@ SYSTEM_PROMPTS = {
     "tutor": "Sei un tutor didattico di nome Valter. Usa questo contesto per rispondere: {context}. Cita sempre il titolo e l'autore dei documenti da cui prendi le informazioni. Inoltre, ricorda sempre di andare ad approfondire l'argomento",
     
     # Analisi dati scientifici
-    "scientist": "Sei uno scienziato esperto. Analizza il contesto: {context}",
+    "scientist": "Sei uno scienziato esperto di nome Matteo. Analizza il contesto: {context}",
     
     # Consulenza tecnica specialistica
-    "expert": "Sei un esperto nel settore. Fornisci risposte tecniche: {context}",
+    "expert": "Sei un esperto nel settore di nome Salvatore. Fornisci risposte tecniche: {context}",
     
     # Spiegazioni chiare semplici
-    "teacher": "Sei un insegnante paziente. Spiega in modo semplice: {context}",
+    "teacher": "Sei un insegnante paziente di nome Désirée. Spiega in modo semplice: {context}",
     
     # Guida scelte formative
-    "orientatore": """ Sei un tutor orientatore serio e professionale, specializzato nel guidare studenti delle scuole verso scelte consapevoli per il loro percorso formativo e professionale. Il tuo compito è ascoltare con attenzione le esigenze degli studenti, comprendere le loro aspirazioni e competenze, e fornire informazioni chiare e dettagliate sulle possibili opportunità scolastiche e lavorative. Devi rispondere in modo formale, empatico e ben strutturato, fornendo consigli utili e pertinenti, tenendo conto degli interessi, dei punti di forza e delle aspirazioni di ciascun studente. Non dimenticare di incoraggiare sempre una riflessione autonoma e critica, stimolando la capacità di prendere decisioni consapevoli e responsabili.
+    "orientatore": """Il tuo nome è Massimo,Sei un tutor orientatore serio e professionale, specializzato nel guidare studenti delle scuole verso scelte consapevoli per il loro percorso formativo e professionale. Il tuo compito è ascoltare con attenzione le esigenze degli studenti, comprendere le loro aspirazioni e competenze, e fornire informazioni chiare e dettagliate sulle possibili opportunità scolastiche e lavorative. Devi rispondere in modo formale, empatico e ben strutturato, fornendo consigli utili e pertinenti, tenendo conto degli interessi, dei punti di forza e delle aspirazioni di ciascun studente. Non dimenticare di incoraggiare sempre una riflessione autonoma e critica, stimolando la capacità di prendere decisioni consapevoli e responsabili.
             
             Fase 1: Accoglienza e Creazione di un Rapporto Empatico
             Presentati con chiarezza e professionalità, adottando un tono rassicurante e comprendendo la situazione dell’utente. Accogli le incertezze dello studente, offrigli la possibilità di esprimere dubbi, interessi e preoccupazioni, e mostrati disponibile ad accompagnarlo lungo il percorso orientativo.
@@ -55,24 +55,22 @@ Esempio n°2: “Osserva questi pensieri con curiosità, come faresti con un fen
 Usa questo contesto per rispondere: {context}""",
     
     # Simulazione podcast
-    "podcaster": """Sei un podcaster esperto e carismatico che conduce conversazioni in stile podcast. 
+    "podcaster": """Sei un podcaster, il tuo nome è Ilaria. esperto e carismatico che conduce conversazioni in stile podcast. 
     Il tuo modo di parlare è naturale e informale, con occasionali "uhm", "ehm" e false partenze tipiche del parlato spontaneo.
     
     Caratteristiche del tuo stile:
     - dai risposte brevi
     - cerca l'interazione dai lo spunto per un altra domanda, osservazione o cose del genere
-    - Inizi sempre con "Ehm... ok, mic check [pausa] Perfetto! Ciao a tutti e benvenuti a una nuova puntata..."
-    - Usi spesso interiezioni come "uhm", "beh", "ecco"
-    - A volte ti correggi o riparti ("Volevo dire...", "Scusate, ricomincio...")
+     - Usi spesso interiezioni come "uhm", "beh", "ecco"
+
     - Fai piccole pause riflessive (...) durante il discorso
     - Mantieni un tono conversazionale e coinvolgente
-    - Chiedi feedback e opinioni agli ascoltatori
-    - quando il tuo interlucore di dice di concludere o di findiri concludi sempre con "E questo è tutto per oggi! Se vi è piaciuta questa puntata... uhm... non dimenticate di seguirci!"
+    -Cerca di essere interattivo e conivolgente con il tuo interllocutore
     
     Usa questo contesto nella conversazione: {context}""",
     
     # Supporto pianificazione didattica
-    "Choch didattico": """Sei un amichevole e disponibile coach didattico che aiuta gli insegnanti a pianificare una lezione. 
+    "Assistente didattico": """Sei un amichevole e disponibile Assistente didattico di nome Sonia che aiuta gli insegnanti a pianificare una lezione. 
 Inizia presentandoti e chiedendo all'insegnante quale argomento desidera insegnare e a quale livello di grado si rivolge la sua classe. Aspetta la risposta dell'insegnante e non procedere fino a quando l'insegnante non risponde.
 Successivamente, chiedi all'insegnante se gli studenti hanno conoscenze pregresse sull'argomento o se si tratta di un argomento completamente nuovo. Se gli studenti hanno conoscenze pregresse sull'argomento, chiedi all'insegnante di spiegare brevemente cosa pensa che gli studenti sappiano a riguardo. Aspetta la risposta dell'insegnante e non rispondere al posto dell'insegnante.
 Dopo di che, chiedi all'insegnante quale sia il loro obiettivo di apprendimento per la lezione; cioè cosa vorrebbero che gli studenti capissero o fossero in grado di fare dopo la lezione. Aspetta una risposta.

app/llm_handling.py

@@ -11,7 +11,8 @@ from app.config import (
     BASE_DB_PATH,
     LLM_CONFIGS, 
     LLMType,
-    EMBEDDING_CONFIG
+    EMBEDDING_CONFIG,
+    LLM_CONFIGS_EXTENDED
 )
 from app.configs.prompts import SYSTEM_PROMPTS
 from app.utils.embedding_utils import get_embeddings
@@ -53,13 +54,12 @@ def read_metadata(db_path):
     return []
 
 def get_relevant_documents(vectorstore, question):
-    """Retrieves relevant documents from the vectorstore"""
+    """Retrieves relevant documents from the vectorstore based on similarity threshold"""
     try:
         enhanced_query = enhance_query(question)
-        docs_and_scores = vectorstore.similarity_search_with_score(
-            enhanced_query,
-            k=EMBEDDING_CONFIG['k_documents']
-        )
+        # Get all documents with their similarity scores
+        docs_and_scores = vectorstore.similarity_search_with_score(enhanced_query)
+        # Filter documents based on similarity threshold
         filtered_docs = [
             doc for doc, score in docs_and_scores 
             if score >= EMBEDDING_CONFIG['min_similarity']
@@ -83,9 +83,48 @@ def log_search_results(question, docs_and_scores):
         logging.info(f"Content: {doc.page_content[:100]}...")
 
 @retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
+def summarize_context(messages):
+    """Crea un riassunto del contesto mantenendo le informazioni chiave"""
+    summary = []
+    key_info = set()
+    
+    for msg in messages:
+        if msg["role"] == "system":
+            continue
+            
+        # Estrai informazioni chiave
+        content = msg["content"]
+        if "fonte" in content.lower() or "fonti" in content.lower():
+            key_info.add(content)
+        elif "importante" in content.lower() or "nota" in content.lower():
+            key_info.add(content)
+            
+    if key_info:
+        summary.append({
+            "role": "system",
+            "content": "Contesto riassunto:\n" + "\n".join(f"- {info}" for info in key_info)
+        })
+        
+    return summary
+
 def answer_question(question, db_name, prompt_type="tutor", chat_history=None, llm_type=LLMType.OPENAI_GPT_4O_MINI):
     if chat_history is None:
         chat_history = []
+        
+    # Configurazione dinamica della cronologia
+    MAX_HISTORY_TOKENS = int(LLM_CONFIGS_EXTENDED["max_tokens"] * 0.4)  # 40% dei token totali
+    MIN_HISTORY_ITEMS = 2  # Mantieni almeno l'ultimo scambio
+    
+    # Calcola la lunghezza della cronologia attuale
+    current_tokens = sum(len(m["content"].split()) for m in chat_history)
+    
+    # Se superiamo il limite, creiamo un riassunto
+    if current_tokens > MAX_HISTORY_TOKENS:
+        summary = summarize_context(chat_history)
+        # Manteniamo l'ultimo scambio completo
+        last_exchange = chat_history[-MIN_HISTORY_ITEMS:]
+        chat_history = summary + last_exchange
+    
     try:
         # Setup e recupero documenti
         db_path = os.path.join(BASE_DB_PATH, f"faiss_index_{db_name}")
@@ -141,8 +180,8 @@ def answer_question(question, db_name, prompt_type="tutor", chat_history=None, l
         response = client.chat.completions.create(
             model=model,
             messages=messages,
-            temperature=0.7,
-            max_tokens=2048
+            temperature= LLM_CONFIGS_EXTENDED["temperature"],
+            max_tokens=LLM_CONFIGS_EXTENDED["max_tokens"]
         )
         
         answer = response.choices[0].message.content + sources_text
@@ -169,12 +208,12 @@ class DocumentRetriever:
         
     def get_relevant_chunks(self, question):
         enhanced_query = enhance_query(question)
-        docs_and_scores = self.vectorstore.similarity_search_with_score(
-            enhanced_query,
-            k=EMBEDDING_CONFIG['k_documents']
-        )
+        docs_and_scores = self.vectorstore.similarity_search_with_score(enhanced_query)
         log_search_results(question, docs_and_scores)
-        return [doc for doc, _ in docs_and_scores]
+        return [
+            doc for doc, score in docs_and_scores
+            if score >= EMBEDDING_CONFIG['min_similarity']
+        ]
 
 if __name__ == "__main__":
-    pass
+    pass

app/utils/helpers.py

@@ -1,7 +1,9 @@
-# utils/helpers.py
-
 import logging
 from app.document_handling import extract_text_from_pdf, extract_text_from_docx
+import tempfile
+import os
+from datetime import datetime
+import shutil
 
 def extract_text_from_files(files):
     """
@@ -13,16 +15,87 @@ def extract_text_from_files(files):
     Returns:
         str: Testo concatenato estratto dai file.
     """
+    if not files:
+        logging.warning("Nessun file fornito")
+        return ""
+    
+    logging.info(f"Ricevuti {len(files)} file da elaborare")
+
+    # Crea la cartella Temp_file se non esiste
+    temp_dir = os.path.join(os.path.dirname(__file__), '..', 'Temp_file')
+    os.makedirs(temp_dir, exist_ok=True)
+    logging.info(f"Cartella Temp_file: {temp_dir}")
+
     text = ""
     for file in files:
         try:
-            if file.name.endswith('.pdf'):
-                text += extract_text_from_pdf(file.name)
-            elif file.name.endswith('.docx'):
-                text += extract_text_from_docx(file.name)
-            else:
-                with open(file.name, 'r', encoding='utf-8') as f:
+            file_path = None
+
+            # Gestione degli oggetti NamedString di Gradio
+            if type(file).__name__ == 'NamedString':
+                original_name = getattr(file, 'name', 'file')
+                _, ext = os.path.splitext(original_name)
+                timestamp = datetime.now().strftime('%Y%m%d_%H%M%S')
+                temp_path = os.path.join(temp_dir, f"temp_{timestamp}{ext if ext else '.txt'}")
+                
+                with open(temp_path, 'wb') as tmp_file:
+                    if hasattr(file, 'encode'):
+                        tmp_file.write(file.encode())
+                    elif hasattr(file, 'read'):
+                        tmp_file.write(file.read())
+                    else:
+                        raise ValueError("Impossibile convertire l'oggetto in bytes")
+                    file_path = temp_path
+
+                logging.info(f"File temporaneo creato: {file_path}")
+
+                try:
+                    if file_path.lower().endswith('.pdf'):
+                        text += extract_text_from_pdf(file_path)
+                    elif file_path.lower().endswith('.docx'):
+                        text += extract_text_from_docx(file_path)
+                    elif file_path.lower().endswith('.txt'):
+                        with open(file_path, 'r', encoding='utf-8') as f:
+                            text += f.read()
+                    else:
+                        logging.warning(f"Formato file non supportato: {file_path}")
+                except Exception as e:
+                    logging.error(f"Errore durante l'elaborazione del file {file_path}: {str(e)}")
+
+                continue
+
+            # Gestione file direttamente caricati
+            if not hasattr(file, 'name') or not hasattr(file, 'read'):
+                logging.error(f"Oggetto file non valido: {type(file)}")
+                continue
+
+            # Salva il file originale in Temp_file
+            timestamp = datetime.now().strftime('%Y%m%d_%H%M%S')
+            file_name = f"{timestamp}_{os.path.basename(file.name)}"
+            temp_path = os.path.join(temp_dir, file_name)
+            
+            # Salva il contenuto del file
+            with open(temp_path, 'wb') as f:
+                f.write(file.read())
+                
+            logging.info(f"File salvato in Temp_file: {temp_path}")
+            file_path = temp_path
+
+            if file_path.lower().endswith('.pdf'):
+                text += extract_text_from_pdf(file_path)
+            elif file_path.lower().endswith('.docx'):
+                text += extract_text_from_docx(file_path)
+            elif file_path.lower().endswith('.txt'):
+                with open(file_path, 'r', encoding='utf-8') as f:
                     text += f.read()
+            else:
+                logging.warning(f"Formato file non supportato: {file_path}")
+
+            if text and not text.endswith('\n\n'):
+                text += '\n\n'
+
         except Exception as e:
-            logging.error(f"Errore durante la lettura del file {file.name}: {e}")
-    return text
+            logging.error(f"Errore durante l'elaborazione del file {file_path if file_path else 'unknown'}: {str(e)}")
+            continue
+
+    return text.strip()

ui/chatbot_tab.py

@@ -21,11 +21,15 @@ def create_chatbot_tab():
         if chat_history is None:
             chat_history = []
         
+        if files is None:
+            files = []
+        
+        file_names = "\n".join(file.name.split('/')[-1] for file in files if hasattr(file, 'name'))
         text = extract_text_from_files(files)
         
         chat_history.append({
             "role": "assistant",
-            "content": f"📄 Contenuto dei documenti caricati:\n{text}"
+            "content": f"📄 File caricati:\n{file_names}\n\nContenuto dei documenti caricati.\n{text}"
         })
         
         return chat_history
@@ -38,7 +42,8 @@ def create_chatbot_tab():
         llm_mapping = {
             "openai - GPT-4o-Mini": LLMType.OPENAI_GPT_4O_MINI,
             "local - Qwen 7B": LLMType.LOCAL_QWEN,
-            "local - Phi-3 Mini": LLMType.LOCAL_PHI
+            "local - Phi-3 Mini": LLMType.LOCAL_PHI,
+            "deepseek - DeepSeek Chat": LLMType.DEEPSEEK
         }
         
         selected_llm = llm_mapping.get(llm_type, LLMType.OPENAI_GPT_4O_MINI)
@@ -173,8 +178,9 @@ def create_chatbot_tab():
                 llm_selector = gr.Dropdown(
                     choices=[
                         "openai - GPT-4o-Mini",
-                        "local - Qwen 7B",
-                        "local - Phi-3 Mini"
+                        "local - Qwen 7B", 
+                        "local - Phi-3 Mini",
+                        "deepseek - DeepSeek Chat"
                     ],
                     label="Seleziona Modello",
                     value="openai - GPT-4o-Mini"
@@ -252,4 +258,3 @@ def create_chatbot_tab():
 
     # Ritorna il riferimento al dropdown corretto
     return {"db_selector": db_name_chat}
-

ui/management_tabs.py

@@ -1,163 +0,0 @@
-import gradio as gr
-import logging
-from app.document_handling import upload_and_index, list_indexed_files, delete_file_from_database
-from app.utils.database_handling import (
-    create_database, 
-    modify_database, 
-    delete_database, 
-    list_databases
-)
-
-class ManagementTabs:
-    def __init__(self, update_all_dropdowns):
-        self.update_all_dropdowns = update_all_dropdowns
-        self.databases = list_databases()
-        
-    def create_tabs(self):
-        with gr.Tabs():
-            self._create_db_management_tab()
-            self._create_document_management_tab()
-            
-    def _create_db_management_tab(self):
-        with gr.Tab("Gestione Database"):
-            gr.Markdown("## Operazioni sui Database")
-            
-            with gr.Row():
-                # Creazione Database
-                with gr.Column():
-                    gr.Markdown("### Crea Database")
-                    self.db_name_input = gr.Textbox(label="Nome Nuovo Database")
-                    self.create_db_button = gr.Button("Crea Database")
-                    self.create_output = gr.Textbox(label="Stato Creazione")
-                
-                # Modifica Database
-                with gr.Column():
-                    gr.Markdown("### Rinomina Database")
-                    self.modify_db_old_name = gr.Dropdown(
-                        choices=self.databases, 
-                        label="Database da Rinominare"
-                    )
-                    self.modify_db_new_name = gr.Textbox(label="Nuovo Nome")
-                    self.modify_db_button = gr.Button("Rinomina Database")
-                    self.modify_output = gr.Textbox(label="Stato Modifica")
-                
-                # Eliminazione Database
-                with gr.Column():
-                    gr.Markdown("### Elimina Database")
-                    self.delete_db_dropdown = gr.Dropdown(
-                        choices=self.databases, 
-                        label="Database da Eliminare"
-                    )
-                    self.delete_db_button = gr.Button("Elimina Database")
-                    self.delete_output = gr.Textbox(label="Stato Eliminazione")
-            
-            self._setup_db_events()
-    
-    def _create_document_management_tab(self):
-        with gr.Tab("Gestione Documenti"):
-            with gr.Column():
-                # Upload Documenti
-                gr.Markdown("### Carica Documenti")
-                with gr.Row():
-                    self.file_input = gr.File(
-                        label="Carica i tuoi documenti",
-                        file_types=[".txt", ".pdf", ".docx"],
-                        file_count="multiple"
-                    )
-                    self.db_name_upload = gr.Dropdown(
-                        choices=self.databases,
-                        label="Seleziona Database",
-                        value="default_db"
-                    )
-                
-                with gr.Row():
-                    self.title_input = gr.Textbox(label="Titolo del documento")
-                    self.author_input = gr.Textbox(label="Autore")
-                
-                self.upload_button = gr.Button("Indicizza Documenti")
-                self.upload_output = gr.Textbox(label="Stato Upload")
-                
-                # Gestione File
-                self._setup_file_management()
-            
-            self._setup_document_events()
-    
-    def _setup_file_management(self):
-        gr.Markdown("### Gestione File")
-        with gr.Row():
-            self.db_name_list = gr.Dropdown(
-                choices=self.databases,
-                label="Database",
-                value="default_db"
-            )
-            self.list_button = gr.Button("Lista File")
-        self.list_output = gr.Textbox(label="File nel Database")
-        
-        with gr.Row():
-            self.delete_file_input = gr.Textbox(label="Nome File da Eliminare")
-            self.delete_file_button = gr.Button("Elimina File")
-        self.delete_file_output = gr.Textbox(label="Stato Eliminazione")
-    
-    def _setup_db_events(self):
-        # Eventi per la gestione del database
-        self.create_db_button.click(
-            fn=create_database,
-            inputs=self.db_name_input,
-            outputs=self.create_output
-        ).then(fn=self.update_all_dropdowns)
-        
-        self.modify_db_button.click(
-            fn=modify_database,
-            inputs=[self.modify_db_old_name, self.modify_db_new_name],
-            outputs=self.modify_output
-        ).then(fn=self.update_all_dropdowns)
-        
-        self.delete_db_button.click(
-            fn=delete_database,
-            inputs=self.delete_db_dropdown,
-            outputs=self.delete_output
-        ).then(fn=self.update_all_dropdowns)
-    
-    def _setup_document_events(self):
-        # Eventi per la gestione dei documenti
-        self.upload_button.click(
-            fn=self._upload_and_index_callback,
-            inputs=[self.file_input, self.title_input, self.author_input, self.db_name_upload],
-            outputs=self.upload_output
-        ).then(fn=self.update_all_dropdowns).then(
-            fn=self._list_files_callback,
-            inputs=[self.db_name_list],
-            outputs=self.list_output
-        )
-        
-        self.list_button.click(
-            fn=self._list_files_callback,
-            inputs=[self.db_name_list],
-            outputs=self.list_output
-        )
-        
-        self.delete_file_button.click(
-            fn=self._delete_file_callback,
-            inputs=[self.delete_file_input, self.db_name_list],
-            outputs=self.delete_file_output
-        ).then(fn=self.update_all_dropdowns)
-    
-    def _upload_and_index_callback(self, files, title, author, db_name):
-        try:
-            status = upload_and_index(files, title, author, db_name)
-            logging.info(f"Upload completato: {status}")
-            return status
-        except Exception as e:
-            logging.error(f"Errore durante l'upload: {str(e)}")
-            return f"Errore: {str(e)}"
-    
-    def _list_files_callback(self, db_name):
-        return list_indexed_files(db_name)
-    
-    def _delete_file_callback(self, file_name, db_name):
-        return delete_file_from_database(file_name, db_name)
-
-def create_management_tabs(update_all_dropdowns):
-    tabs = ManagementTabs(update_all_dropdowns)
-    tabs.create_tabs()
-    return tabs