import os import logging from typing import List from pydantic import BaseModel from fastapi import FastAPI, HTTPException import rdflib from rdflib import RDF, RDFS, OWL from sentence_transformers import SentenceTransformer import faiss import json import numpy as np from dotenv import load_dotenv import requests # Carica le variabili d'ambiente load_dotenv() # Configura il logging logging.basicConfig( level=logging.INFO, # Ridotto da DEBUG per migliorare le prestazioni format="%(asctime)s - %(levelname)s - %(message)s", handlers=[logging.FileHandler("app.log"), logging.StreamHandler()] ) logger = logging.getLogger(__name__) # Recupera la chiave API API_KEY = os.getenv("HF_API_KEY") if not API_KEY: logger.error("HF_API_KEY non impostata.") raise EnvironmentError("HF_API_KEY non impostata.") # Definisci i percorsi dei file BASE_DIR = os.path.dirname(os.path.abspath(__file__)) RDF_FILE = os.path.join(BASE_DIR, "Ontologia.rdf") HF_MODEL = "google/flan-t5-xxl" # Modello ottimizzato per seguire istruzioni MAX_CLASSES = 30 MAX_PROPERTIES = 30 # Percorsi dei file generati DOCUMENTS_FILE = os.path.join(BASE_DIR, "data", "documents.json") FAISS_INDEX_FILE = os.path.join(BASE_DIR, "data", "faiss.index") def create_data_directory(): """Crea la directory 'data/' se non esiste.""" os.makedirs(os.path.join(BASE_DIR, "data"), exist_ok=True) logger.info("Directory 'data/' creata o già esistente.") def extract_ontology(rdf_file: str, output_file: str): """ Estrae classi, proprietà ed entità dall'ontologia RDF e le salva in un file JSON come un unico documento. """ logger.info(f"Inizio estrazione dell'ontologia da {rdf_file}.") g = rdflib.Graph() try: g.parse(rdf_file, format="xml") logger.info(f"Parsing RDF di {rdf_file} riuscito.") except Exception as e: logger.error(f"Errore nel parsing RDF: {e}") raise e # Estrai Classi classes = [] for cls in g.subjects(RDF.type, OWL.Class): label = g.value(cls, RDFS.label, default=str(cls)) description = g.value(cls, RDFS.comment, default="No description.") classes.append({"class": str(cls), "label": str(label), "description": str(description)}) for cls in g.subjects(RDF.type, RDFS.Class): label = g.value(cls, RDFS.label, default=str(cls)) description = g.value(cls, RDFS.comment, default="No description.") classes.append({"class": str(cls), "label": str(label), "description": str(description)}) # Estrai Proprietà properties = [] for prop in g.subjects(RDF.type, OWL.ObjectProperty): label = g.value(prop, RDFS.label, default=str(prop)) description = g.value(prop, RDFS.comment, default="No description.") properties.append({"property": str(prop), "label": str(label), "description": str(description)}) for prop in g.subjects(RDF.type, OWL.DatatypeProperty): label = g.value(prop, RDFS.label, default=str(prop)) description = g.value(prop, RDFS.comment, default="No description.") properties.append({"property": str(prop), "label": str(label), "description": str(description)}) for prop in g.subjects(RDF.type, RDF.Property): label = g.value(prop, RDFS.label, default=str(prop)) description = g.value(prop, RDFS.comment, default="No description.") properties.append({"property": str(prop), "label": str(label), "description": str(description)}) # Estrai Entità (NamedIndividuals) entities = [] for entity in g.subjects(RDF.type, OWL.NamedIndividual): label = g.value(entity, RDFS.label, default=str(entity)) description = g.value(entity, RDFS.comment, default="No description.") # Estrai le proprietà dell'entità entity_properties = {} for predicate, obj in g.predicate_objects(entity): if predicate not in [RDFS.label, RDFS.comment]: entity_properties[str(predicate)] = str(obj) entities.append({ "entity": str(entity), "label": str(label), "description": str(description), "properties": entity_properties }) # Crea un unico documento ontology_summary = { "title": "Ontologia Museo", "classes": classes[:MAX_CLASSES], "properties": properties[:MAX_PROPERTIES], "entities": entities, # Aggiungi le entità "full_ontology": g.serialize(format="xml").decode('utf-8') if isinstance(g.serialize(format="xml"), bytes) else g.serialize(format="xml") # Decodifica rimossa } # Salva il documento in JSON try: with open(output_file, "w", encoding="utf-8") as f: json.dump(ontology_summary, f, ensure_ascii=False, indent=2) logger.info(f"Ontologia estratta e salvata in {output_file}") except Exception as e: logger.error(f"Errore nel salvataggio di {output_file}: {e}") raise e def create_faiss_index(documents_file: str, index_file: str, embedding_model: str = 'all-MiniLM-L6-v2'): """ Crea un indice FAISS a partire dal documento estratto. """ logger.info(f"Inizio creazione dell'indice FAISS da {documents_file}.") try: # Carica il documento with open(documents_file, "r", encoding="utf-8") as f: document = json.load(f) logger.info(f"Documento caricato da {documents_file}.") # Genera embedding model = SentenceTransformer(embedding_model) # Concatenazione delle classi, proprietà e entità per l'embedding texts = [f"Classe: {cls['label']}. Descrizione: {cls['description']}" for cls in document['classes']] texts += [f"Proprietà: {prop['label']}. Descrizione: {prop['description']}" for prop in document['properties']] texts += [f"Entità: {entity['label']}. Descrizione: {entity['description']}. Proprietà: {entity['properties']}" for entity in document.get('entities', [])] embeddings = model.encode(texts, convert_to_numpy=True) logger.info("Embedding generati con SentenceTransformer.") # Crea l'indice FAISS dimension = embeddings.shape[1] index = faiss.IndexFlatL2(dimension) index.add(embeddings) logger.info(f"Indice FAISS creato con dimensione: {dimension}.") # Salva l'indice faiss.write_index(index, index_file) logger.info(f"Indice FAISS salvato in {index_file}.") except Exception as e: logger.error(f"Errore nella creazione dell'indice FAISS: {e}") raise e def prepare_retrieval(): """Prepara i file necessari per l'approccio RAG.""" logger.info("Inizio preparazione per il retrieval.") create_data_directory() # Verifica se Ontologia.rdf esiste if not os.path.exists(RDF_FILE): logger.error(f"File RDF non trovato: {RDF_FILE}") raise FileNotFoundError(f"File RDF non trovato: {RDF_FILE}") else: logger.info(f"File RDF trovato: {RDF_FILE}") # Verifica se documents.json esiste, altrimenti generarlo if not os.path.exists(DOCUMENTS_FILE): logger.info(f"File {DOCUMENTS_FILE} non trovato. Estrazione dell'ontologia.") try: extract_ontology(RDF_FILE, DOCUMENTS_FILE) except Exception as e: logger.error(f"Errore nell'estrazione dell'ontologia: {e}") raise e else: logger.info(f"File {DOCUMENTS_FILE} trovato.") # Verifica se faiss.index esiste, altrimenti crearlo if not os.path.exists(FAISS_INDEX_FILE): logger.info(f"File {FAISS_INDEX_FILE} non trovato. Creazione dell'indice FAISS.") try: create_faiss_index(DOCUMENTS_FILE, FAISS_INDEX_FILE) except Exception as e: logger.error(f"Errore nella creazione dell'indice FAISS: {e}") raise e else: logger.info(f"File {FAISS_INDEX_FILE} trovato.") def extract_classes_and_properties(rdf_file: str) -> str: """ Carica l'ontologia e crea un 'sunto' di Classi, Proprietà ed Entità (senza NamedIndividuals) per ridurre i token. """ logger.info(f"Inizio estrazione di classi, proprietà ed entità da {rdf_file}.") g = rdflib.Graph() try: g.parse(rdf_file, format="xml") logger.info(f"Parsing RDF di {rdf_file} riuscito.") except Exception as e: logger.error(f"Errore nel parsing RDF: {e}") return "PARSING_ERROR" # Troviamo le classi classes_found = set() for s in g.subjects(RDF.type, OWL.Class): classes_found.add(s) for s in g.subjects(RDF.type, RDFS.Class): classes_found.add(s) classes_list = sorted(str(c) for c in classes_found) classes_list = classes_list[:MAX_CLASSES] # Troviamo le proprietà props_found = set() for p in g.subjects(RDF.type, OWL.ObjectProperty): props_found.add(p) for p in g.subjects(RDF.type, OWL.DatatypeProperty): props_found.add(p) for p in g.subjects(RDF.type, RDF.Property): props_found.add(p) props_list = sorted(str(x) for x in props_found) props_list = props_list[:MAX_PROPERTIES] # Troviamo le entità entities_found = set() for e in g.subjects(RDF.type, OWL.NamedIndividual): entities_found.add(e) entities_list = sorted(str(e) for e in entities_found) entities_list = entities_list[:MAX_CLASSES] # Puoi impostare un limite adeguato txt_classes = "\n".join([f"- CLASSE: {c}" for c in classes_list]) txt_props = "\n".join([f"- PROPRIETÀ: {p}" for p in props_list]) txt_entities = "\n".join([f"- ENTITÀ: {e}" for e in entities_list]) summary = f"""\ # CLASSI (max {MAX_CLASSES}) {txt_classes} # PROPRIETÀ (max {MAX_PROPERTIES}) {txt_props} # ENTITÀ (max {MAX_CLASSES}) {txt_entities} """ logger.info("Estrazione di classi, proprietà ed entità completata.") return summary def retrieve_relevant_documents(query: str, top_k: int = 5): """Recupera i documenti rilevanti usando FAISS.""" logger.info(f"Recupero dei documenti rilevanti per la query: {query}") try: # Carica il documento with open(DOCUMENTS_FILE, "r", encoding="utf-8") as f: document = json.load(f) logger.info(f"Documento caricato da {DOCUMENTS_FILE}.") # Carica l'indice FAISS index = faiss.read_index(FAISS_INDEX_FILE) logger.info(f"Indice FAISS caricato da {FAISS_INDEX_FILE}.") # Genera embedding della query model = SentenceTransformer('all-MiniLM-L6-v2') query_embedding = model.encode([query], convert_to_numpy=True) logger.info("Embedding della query generati.") # Ricerca nell'indice distances, indices = index.search(query_embedding, top_k) logger.info(f"Ricerca FAISS completata. Risultati ottenuti: {len(indices[0])}") # Concatenazione delle descrizioni per la ricerca texts = [f"Classe: {cls['label']}. Descrizione: {cls['description']}" for cls in document['classes']] texts += [f"Proprietà: {prop['label']}. Descrizione: {prop['description']}" for prop in document['properties']] texts += [f"Entità: {entity['label']}. Descrizione: {entity['description']}. Proprietà: {entity['properties']}" for entity in document.get('entities', [])] # Recupera i testi rilevanti relevant_texts = [texts[idx] for idx in indices[0] if idx < len(texts)] retrieved_docs = "\n".join(relevant_texts) logger.info(f"Documenti rilevanti recuperati: {len(relevant_texts)}") return retrieved_docs except Exception as e: logger.error(f"Errore nel recupero dei documenti rilevanti: {e}") raise e def create_system_message(ont_text: str, retrieved_docs: str) -> str: """ Prompt di sistema robusto, con regole su query in una riga e informazioni recuperate tramite RAG. """ return f"""\ ### Istruzioni ### Sei un assistente museale esperto in ontologie RDF. Utilizza le informazioni fornite per generare query SPARQL precise e pertinenti. ### Ontologia ### {ont_text} ### FINE Ontologia ### Ecco alcune informazioni rilevanti recuperate dalla base di conoscenza: {retrieved_docs} ### Regole Stringenti ### 1) Se l'utente chiede informazioni su questa ontologia, genera SEMPRE una query SPARQL in UNA SOLA RIGA, con prefix: PREFIX base: 2) La query SPARQL deve essere precisa e cercare esattamente le entità specificate dall'utente. Ad esempio, se l'utente chiede "Chi ha creato l'opera 'Amore e Psiche'?", la query dovrebbe cercare l'opera esattamente con quel nome. 3) Se la query produce 0 risultati o fallisce, ritenta con un secondo tentativo. 4) Se la domanda è generica (tipo 'Ciao, come stai?'), rispondi breve. 5) Se trovi risultati, la risposta finale deve essere la query SPARQL (una sola riga). 6) Se non trovi nulla, rispondi con 'Nessuna info.' 7) Non multiline. Esempio: PREFIX base: <...> SELECT ?x WHERE {{ ... }}. Esempio: Utente: Chi ha creato l'opera 'Amore e Psiche'? Risposta: PREFIX base: SELECT ?creatore WHERE {{ ?opera base:hasName "Amore e Psiche" . ?opera base:creatoDa ?creatore . }} FINE REGOLE ### Conversazione ### Utente: che ore sono? Assistente: """ def create_explanation_prompt(results_str: str) -> str: """Prompt per generare una spiegazione museale dei risultati SPARQL.""" return f"""\ Ho ottenuto questi risultati SPARQL: {results_str} Ora fornisci una breve spiegazione museale (massimo ~10 righe), senza inventare oltre i risultati. """ async def call_hf_model(prompt: str, temperature: float = 0.5, max_tokens: int = 150) -> str: """Chiama il modello Hugging Face tramite l'API REST e gestisce la risposta.""" logger.debug("Chiamo HF con il seguente prompt:") content_preview = (prompt[:300] + '...') if len(prompt) > 300 else prompt logger.debug(f"PROMPT => {content_preview}") headers = { "Authorization": f"Bearer {API_KEY}" } payload = { "inputs": prompt, "parameters": { "temperature": temperature, "max_new_tokens": max_tokens, "top_p": 0.9 } } try: response = requests.post( f"https://api-inference.huggingface.co/models/{HF_MODEL}", headers=headers, json=payload ) if response.status_code != 200: logger.error(f"Errore nella chiamata all'API Hugging Face: {response.status_code} - {response.text}") raise HTTPException(status_code=500, detail=f"Errore nell'API Hugging Face: {response.text}") data = response.json() logger.debug(f"Risposta completa dal modello: {data}") if isinstance(data, list) and len(data) > 0 and "generated_text" in data[0]: raw = data[0]["generated_text"] elif "generated_text" in data: raw = data["generated_text"] else: raise ValueError("Nessun campo 'generated_text' nella risposta.") # Forza la risposta su una singola linea se multilinea single_line = " ".join(raw.splitlines()) logger.debug(f"Risposta HF single-line: {single_line}") return single_line.strip() except Exception as e: logger.error(f"Errore nella chiamata all'API Hugging Face tramite requests: {e}") raise HTTPException(status_code=500, detail=str(e)) # Variabile globale per le etichette delle entità entity_labels: List[str] = [] def load_entity_labels(documents_file: str): """Carica le etichette delle entità dal file documents.json.""" global entity_labels try: with open(documents_file, "r", encoding="utf-8") as f: document = json.load(f) entity_labels = [entity['label'].lower() for entity in document['entities']] logger.info(f"Elenco delle etichette delle entità caricato: {entity_labels}") except Exception as e: logger.error(f"Errore nel caricamento delle etichette delle entità: {e}") entity_labels = [] def is_ontology_related(query: str) -> bool: """Determina se la domanda è pertinente all'ontologia.""" query_lower = query.lower() keywords = ["opera", "museo", "stanza", "tour", "visitatore", "biglietto", "guida", "evento", "agente"] if any(keyword in query_lower for keyword in keywords): return True if any(entity in query_lower for entity in entity_labels): return True return False # Prepara i file necessari per RAG prepare_retrieval() # Carica il 'sunto' di classi, proprietà ed entità knowledge_text = extract_classes_and_properties(RDF_FILE) # Carica le etichette delle entità load_entity_labels(DOCUMENTS_FILE) app = FastAPI() class QueryRequest(BaseModel): message: str max_tokens: int = 150 # Ridotto per risposte concise temperature: float = 0.5 @app.post("/generate-response/") async def generate_response(req: QueryRequest): user_input = req.message logger.info(f"Utente dice: {user_input}") if not is_ontology_related(user_input): return { "type": "NATURAL", "response": "Ciao! Sono un assistente museale e non ho informazioni sulle ore attuali. Ti consiglio di consultare un orologio o un dispositivo mobile per conoscere l'ora esatta." } try: # Recupera documenti rilevanti usando RAG retrieved_docs = retrieve_relevant_documents(user_input, top_k=3) except Exception as e: logger.error(f"Errore nel recupero dei documenti rilevanti: {e}") return {"type": "ERROR", "response": f"Errore nel recupero dei documenti: {e}"} sys_msg = create_system_message(knowledge_text, retrieved_docs) prompt = f"{sys_msg}\nUtente: {user_input}\nAssistente:" # Primo tentativo try: r1 = await call_hf_model(prompt, req.temperature, req.max_tokens) logger.info(f"PRIMA RISPOSTA:\n{r1}") except Exception as e: logger.error(f"Errore nella chiamata al modello Hugging Face: {e}") return {"type": "ERROR", "response": f"Errore nella generazione della risposta: {e}"} # Se non parte con "PREFIX base:" if not r1.startswith("PREFIX base:"): sc = f"Non hai risposto con query SPARQL su una sola riga. Riprova. Domanda: {user_input}" fallback_prompt = f"{sys_msg}\nAssistente: {r1}\nUtente: {sc}\nAssistente:" try: r2 = await call_hf_model(fallback_prompt, req.temperature, req.max_tokens) logger.info(f"SECONDA RISPOSTA:\n{r2}") if r2.startswith("PREFIX base:"): sparql_query = r2 else: return {"type": "NATURAL", "response": r2} except Exception as e: logger.error(f"Errore nella seconda chiamata al modello Hugging Face: {e}") return {"type": "ERROR", "response": f"Errore nella generazione della seconda risposta: {e}"} else: sparql_query = r1 # Esegui la query con rdflib g = rdflib.Graph() try: g.parse(RDF_FILE, format="xml") logger.info(f"Parsing RDF di {RDF_FILE} riuscito per l'esecuzione della query.") except Exception as e: logger.error(f"Parsing RDF error: {e}") return {"type": "ERROR", "response": f"Parsing RDF error: {e}"} try: results = g.query(sparql_query) logger.info(f"Query SPARQL eseguita con successo. Risultati: {len(results)}") except Exception as e: fallback = f"La query SPARQL ha fallito. Riprova. Domanda: {user_input}" fallback_prompt = f"{sys_msg}\nAssistente: {sparql_query}\nUtente: {fallback}\nAssistente:" try: r3 = await call_hf_model(fallback_prompt, req.temperature, req.max_tokens) logger.info(f"TERZA RISPOSTA (fallback):\n{r3}") if r3.startswith("PREFIX base:"): sparql_query = r3 try: results = g.query(sparql_query) logger.info(f"Seconda query SPARQL eseguita con successo. Risultati: {len(results)}") except Exception as e2: logger.error(f"Seconda Query fallita: {e2}") return {"type": "ERROR", "response": f"Query fallita di nuovo: {e2}"} else: return {"type": "NATURAL", "response": r3} except Exception as e: logger.error(f"Errore nella chiamata al modello Hugging Face durante il fallback: {e}") return {"type": "ERROR", "response": f"Errore durante il fallback della risposta: {e}"} if len(results) == 0: return {"type": "NATURAL", "sparql_query": sparql_query, "response": "Nessun risultato."} # Confeziona risultati row_list = [] for row in results: row_dict = row.asdict() row_str = ", ".join([f"{k}: {v}" for k, v in row_dict.items()]) row_list.append(row_str) results_str = "\n".join(row_list) # Spiegazione exp_prompt = create_explanation_prompt(results_str) try: explanation = await call_hf_model(exp_prompt, req.temperature, req.max_tokens) except Exception as e: logger.error(f"Errore nella generazione della spiegazione: {e}") return {"type": "ERROR", "response": f"Errore nella generazione della spiegazione: {e}"} return { "type": "NATURAL", "sparql_query": sparql_query, "sparql_results": row_list, "explanation": explanation } @app.get("/") def home(): return {"message": "Assistente Museale con supporto SPARQL."}