Upload folder using huggingface_hub

static/javascript/rag_cleaner.js

@@ -1,71 +1,125 @@
 /** @format */
 function removeTag(txt) {
-  txt = txt.replace(/<<</g, "").replace(/>>>/g, "");
+  txt = txt.replace(/<<</g, " ").replace(/>>>/g, " ");
   txt = txt.replace(/<</g, "").replace(/>>/g, "");
   return txt;
 }
-function uniteBrokenWords(txt) {
-  const regex = /-\n/g;
-  const unitedText = txt.replace(regex, "");
-  return unitedText;
-}
+// function uniteBrokenWords(txt) {
+//   const regex = /-\n/g;
+//   const unitedText = txt.replace(regex, "");
+//   return unitedText;
+// }
+
+// function cleanDoc(txt) {
+//   try {
+//     txt = removeTag(txt);
+//     //unisce le parole spezzate a di fine riga
+//     txt = txt.replace(/-\n/g, "");
+//     // Rimuove caratteri non stampabili specifici
+//     const charsRm = /[\u00AD\u200B\u200C\u200D\u2060\uFEFF]/g;
+//     txt = txt.replace(charsRm, "");
+//     // Sostituisce spazi non standard e altri caratteri con uno spazio
+//     const charsSrp = /[\u00A0\u2000-\u200A\u202F\u205F\u3000\t\r\f\v]/g;
+//     txt = txt.replace(charsSrp, " ");
+//     // Mantieni le sequenze di escape comuni
+//     txt = txt.replace(/\\([nrtfb])/g, "$1");
+//     // Mantieni le sequenze Unicode
+//     txt = txt.replace(/\\(u[0-9a-fA-F]{4}|x[0-9a-fA-F]{2})/g, "$1");
+//     // Mantieni i backslash nei path di file
+//     txt = txt.replace(/\\([a-zA-Z]:\\|\\\\[a-zA-Z0-9_]+\\)/g, "\\\\$1");
+//     // Rimuovi tutti gli altri backslash
+//     txt = txt.replace(/\\/g, "");
+//     // Uniforma i caratteri di quotazione
+//     txt = txt.replace(/“/g, '"').replace(/”/g, '"');
+//     // Rimuove spazi prima della punteggiatura
+//     txt = txt.replace(/ +([.,;:!?])/g, "$1");
+//     // Rimuove linee vuote multiple
+//     txt = txt.replace(/\n\s*\n/g, "\n\n");
+//     txt = txt.replace(/\n{3,}/g, "\n\n");
+//     // Rimuove spazi multipli
+//     txt = txt.replace(/ +/g, " ");
+//     return txt.trim();
+//   } catch (e) {
+//     console.error(e);
+//     return "Errore di codifica del documento";
+//   }
+// }
 
-function cleanDoc(txt) {
+function cleanDoc(s) {
   try {
-    txt = removeTag(txt);
-    //unisce le parole spezzate a di fine riga
-    txt = txt.replace(/-\n/g, "");
-    // Rimuove caratteri non stampabili specifici
-    const charsRm = /[\u00AD\u200B\u200C\u200D\u2060\uFEFF]/g;
-    txt = txt.replace(charsRm, "");
-    // Sostituisce spazi non standard e altri caratteri con uno spazio
-    const charsSrp = /[\u00A0\u2000-\u200A\u202F\u205F\u3000\t\r\f\v]/g;
-    txt = txt.replace(charsSrp, " ");
-    // Mantieni le sequenze di escape comuni
-    txt = txt.replace(/\\([nrtfb])/g, "$1");
-    // Mantieni le sequenze Unicode
-    txt = txt.replace(/\\(u[0-9a-fA-F]{4}|x[0-9a-fA-F]{2})/g, "$1");
-    // Mantieni i backslash nei path di file
-    txt = txt.replace(/\\([a-zA-Z]:\\|\\\\[a-zA-Z0-9_]+\\)/g, "\\\\$1");
-    // Rimuovi tutti gli altri backslash
-    txt = txt.replace(/\\/g, "");
-    // Uniforma i caratteri di quotazione
-    txt = txt.replace(/“/g, '"').replace(/”/g, '"');
-    // Rimuove spazi prima della punteggiatura
-    txt = txt.replace(/ +([.,;:!?])/g, "$1");
-    // Rimuove linee vuote multiple
-    txt = txt.replace(/\n\s*\n/g, "\n\n");
-    txt = txt.replace(/\n{3,}/g, "\n\n");
-    // Rimuove spazi multipli
-    txt = txt.replace(/ +/g, " ");
-    return txt.trim();
+      s = removeTag(s);
+
+      // Unisce le parole divise dal trattino a fine riga
+      s = s.replace(/(\w+)-\s*\n(\w+)/g, '$1$2');
+
+      // Rimuove caratteri non stampabili specifici
+      const charsRm = /[\u00AD\u200B\u200C\u200D\u2060\uFEFF\u0008]/g;
+      s = s.replace(charsRm, '');
+
+      // Sostituisce spazi non standard e altri caratteri con uno spazio
+      const charsSrp = /[\u00A0\u2000-\u200A\u202F\u205F\u3000\t\r\f\v]/g;
+      s = s.replace(charsSrp, ' ');
+
+      // Mantieni le sequenze di escape comuni
+      s = s.replace(/\\([nrtfb])/g, '$1');
+
+      // Mantieni le sequenze Unicode
+      s = s.replace(/\\(u[0-9a-fA-F]{4}|x[0-9a-fA-F]{2})/g, '$1');
+
+      // Mantieni i backslash nei path di file
+      s = s.replace(/\\([a-zA-Z]:\\|\\\\[a-zA-Z0-9_]+\\)/g, '\\$1');
+
+      // Rimuovi tutti gli altri backslash
+      s = s.replace(/\\/g, '');
+
+      // Uniforma i caratteri di quotazione
+      s = s.replace('“', '"').replace('”', '"');
+
+      // Rimpiazza newline
+      s = s.replace(/\n/g, ' ');
+
+      // Rimuove spazi prima della punteggiatura
+      s = s.replace(/ +([.,;:!?])/g, '$1');
+
+      // Divide il testo in frasi
+      const sentences = s.split(/(?<=[.?!])\s+/);
+      const minLen = 5;
+      s = sentences.filter(sentence => sentence.trim().length >= minLen).map(sentence => sentence.trim()).join('\n');
+
+      // Rimuove spazi multipli
+      s = s.replace(/ +/g, ' ');
+
+      return s.trim();
   } catch (e) {
-    console.error(e);
-    return "Errore di codifica del documento";
+      console.error(e);
+      return "Errore di codifica del documento";
   }
 }
 
-function cleanResponse(txt) {
+
+
+function cleanResponse(s) {
   try {
+    s=removeTag(s);
     // Rimuove caratteri non stampabili specifici
     const charsRm = /[\u00AD\u200B\u200C\u200D\u2060\uFEFF]/g;
-    txt = txt.replace(charsRm, "");
+    s = s.replace(charsRm, "");
     // Sostituisce spazi non standard e altri caratteri con uno spazio
     const charsSrp = /[\u00A0\u2000-\u200A\u202F\u205F\u3000\t\r\f\v]/g;
-    txt = txt.replace(charsSrp, " ");
+    s = s.replace(charsSrp, " ");
     // Mantieni le sequenze di escape comuni
-    txt = txt.replace(/\\([nrtfb])/g, "$1");
+    s = s.replace(/\\([nrtfb])/g, "$1");
     // Mantieni le sequenze Unicode
-    txt = txt.replace(/\\(u[0-9a-fA-F]{4}|x[0-9a-fA-F]{2})/g, "$1");
+    s = s.replace(/\\(u[0-9a-fA-F]{4}|x[0-9a-fA-F]{2})/g, "$1");
     // Mantieni i backslash nei path di file
-    txt = txt.replace(/\\([a-zA-Z]:\\|\\\\[a-zA-Z0-9_]+\\)/g, "\\\\$1");
+    s = s.replace(/\\([a-zA-Z]:\\|\\\\[a-zA-Z0-9_]+\\)/g, "\\\\$1");
     // Rimuovi tutti gli altri backslash
-    txt = txt.replace(/\\/g, "");
+    s = s.replace(/\\/g, "");
     // Sostituisce le sequenze di più di due newline con due newline
-    txt = txt.replace(/\n{3,}/g, "\n\n");
+    s = s.replace(/\n{3,}/g, "\n\n");
     // unifica spazi multipli
-    txt = txt.replace(/ +/g, " ");
-    return txt.trim();
+    s = s.replace(/ +/g, " ");
+    return s.trim();
   } catch (e) {
     console.error(e);
     return `Errore di codifica nella risposta\n${e}`;

static/javascript/rag_mgr.js

@@ -178,8 +178,7 @@ const Rag = {
               continue;
             } else if (ei.errorType === TIMEOUT_ERROR) {
               UaLog.log(`Error timeout Doc`);
-              wait(5);
-              // UaLog.log(`Error timeout Doc 2`);
+              // wait(5);
               continue;
             } else {
               throw err;
@@ -214,8 +213,7 @@ const Rag = {
               continue;
             } else if (ei.errorType === TIMEOUT_ERROR) {
               UaLog.log(`Error timeout build Context`);
-              wait(5);
-              // UaLog.log(`Error timeout build Context 2`);
+              // wait(5);
               continue;
             } else {
               throw err;
@@ -256,8 +254,7 @@ const Rag = {
               continue;
             } else if (ei.errorType === TIMEOUT_ERROR) {
               UaLog.log(`Error timeout with  Context`);
-              wait(5);
-              // UaLog.log(`Error timeout with  Context 2`);
+              // wait(5);
               continue;
             } else {
               throw err;

static/javascript/rag_prompts.js

@@ -2,108 +2,252 @@
 
 "use strict";
 
-function promptDoc(documento, domanda, docName) {
+// function promptDoc(documento, domanda, docName) {
+//   return `
+// SYSTEM: Sei un assistente AI specializzato nell'analisi di documenti. Rispondi ESCLUSIVAMENTE in italiano. Non usare altre lingue in nessuna parte della risposta.
+
+// TASK: Analizza il documento ${docName} ed estrai le informazioni rilevanti per rispondere alla domanda fornita.
+
+// INSTRUCTIONS:
+// 1. Identifica la tipologia e lo scopo del documento (es. articolo scientifico, racconto, saggio, documento tecnico) e adatta l'analisi di conseguenza.
+// 2. Analizza attentamente il documento fornito e identifica le informazioni pertinenti alla domanda.
+// 3. Estrai i concetti chiave e fai inferenze ragionevoli.
+// 4. Focalizzati sull'estrazione di concetti chiave e inferenze rilevanti per la domanda.
+// 5. Seleziona citazioni specifiche direttamente collegate alla domanda.
+// 6. Prepara una risposta chiara e dettagliata.
+// 7. Inizia con una breve introduzione, sviluppa l'analisi, esponi le inferenze e concludi con una sintesi.
+// 8. Mantieni un tono oggettivo e uno stile fluido e coerente.
+
+// DOCUMENTO:
+// <<<INIZIO_DOCUMENTO>>>
+// ${documento}
+// <<<FINE_DOCUMENTO>>>
+
+// DOMANDA:
+// ${domanda}
+
+// OUTPUT_FORMAT:
+// La risposta dovrà essere strutturata nel seguente modo:
+// - Introduzione:
+// - Concetti chiave:
+// - Citazioni:
+// - Inferenze:
+// - Dettagli rilevanti:
+// - Sintesi:
+
+// RESPONSE:
+// `;
+// }
+
+// function promptBuildContext(informazioni, domanda) {
+//   return `
+// SYSTEM: Sei un assitente AI specializzato nella riorganizzazione di informazioni come contesto nelle interrogazioni ad un LLM. Rispondi ESCLUSIVAMENTE in italiano. Non usare altre lingue in nessuna parte della risposta.
+
+// TASK: Analizza e riorganizza le informazioi rilevanti per rispondere alla domada  fornite seguendo le istruzioni.
+
+// INSTRUCTIONS:
+// 1. Analizza attentamente le informazioi e identifica i temi e i concetti simili.
+// 2. Estrai i concetti chiave e fai inferenze ragionevoli.
+// 3. Organizza le informazioni in una struttura logica e coerente.
+// 4. Includi una breve introduzione che presenti i temi principali.
+// 5. Sviluppa l'analisi raggruppando le informazioni per argomenti correlati.
+// 6. Presenta le inferenze e le connessioni tra i diversi concetti.
+// 7. Includi, se rilevanti, dettagli come nomi propri, termini tecnici, date o luoghi che contribuiscono alla precisione del contesto.
+// 8. Concludi con una sintesi che riassuma i punti chiave e la struttura logica.
+// 9. Evidenzia le connessioni tra contenuti estratti da fonti diverse.
+// 10. Effettua un controllo finale per assicurarti che tutte le informazioni chiave siano state incluse.
+// 11. Mantieni uno stile fluido e coerente.
+
+// INFORAZIONI:
+// <<<INIZIO_INFORMAZIONI>>>
+// ${informazioni}
+// <<<FINE_INFORMAZIONI>>>
+
+// DOMANDA:
+// ${domanda}
+
+// OUTPUT_FORMAT:
+// La risposta dovrà essere strutturata nel seguente modo:
+// - Introduzione:
+// - Concetti chiave:
+// - Citazioni:
+// - Inferenze:
+// - Connessioni fra contenuti:
+// - Dettagli rilevanti:
+// - Sintesi:
+
+// RESPONSE:
+// `;
+// }
+
+// function promptWithContext(contesto, domanda) {
+//   return `
+// SYSTEM: Sei un sistema AI specializzato nell'analisi semantica di informazioni estratte da documenti. Rispondi sempre ed esclusivamente in italiano.
+
+// TASK: Elabora la risposta alla domanda sulla base del contesto fornito.
+
+// INSTRUCTIONS:
+// 1. Analizza attentamente il contesto e identifica le informazioni pertinenti alla domanda.
+// 2. Estrai i concetti chiave e fai inferenze ragionevoli.
+// 3. Prepara una risposta chiara e dettagliata utilizzandoo al meglio il contesto.
+// 4. Inizia con una breve introduzione, sviluppa l'analisi, elabora le inferenze e concludi con una sintesi.
+// 5. Se la domanda richiede di citare le fonti, fai riferimento al documento fornito distinguendolo chiaramente da eventuali altre fonti citate all'interno del contesto stesso.
+// 6. Mantieni un tono oggettivo e uno stile fluido e coerente.
+
+// CONTESTO:
+// <<<INIZIO_CONTESTO>>>
+// ${contesto}
+// <<<FINE_CONTESTO>>>
+
+// DOMANDA:
+// ${domanda}
+
+// OUTPUT_FORMAT:
+// Rispondi con un testo piano suddiviso in paragrafi.Evita di usare etichette, elenchi o marcatori speciali.
+
+// RESPONSE:
+// `;
+// }
+
+// function promptThread(contesto, conversazione, richiesta) {
+//   return `
+// SYSTEM: Sei un assistente AI versatile progettato per gestire conversazioni dinamiche e adattarti a varie richieste. Rispondi sempre in italiano.
+
+// TASK: Elabora la risposta alla richiesta sulla base del contesto fornito e della conversazione.
+
+// INSTRUCTIONS:
+// 1. Analizza attentamente il contesto, la conversazione precedente e la richiesta attuale.
+// 2. Interpreta l'intento dell'utente senza limitarti a categorie predefinite.
+// 3. Adatta la tua risposta in base all'intento percepito, sia esso una domanda, una richiesta di azione, un'istruzione specifica o altro.
+// 4. Mantieni una stretta coerenza con il contesto della conversazione.
+// 5. Basa la tua risposta principalmente sulle informazioni fornite nel contesto e nella conversazione.
+// 6. Evita divagazioni o argomentazioni non direttamente pertinenti alla richiesta o al contesto.
+// 7. Fai riferimento a informazioni precedenti quando sono pertinenti, citando specificamente la fonte.
+// 8. Se l'intento non è chiaro, chiedi gentilmente chiarimenti invece di fare supposizioni.
+// 9. Sii flessibile: se la richiesta implica un'azione specifica, adattati di conseguenza.
+// 10. Se è necessario integrare con conoscenze generali, specifica chiaramente quando lo stai facendo.
+
+// CONTESTO:
+// <<<BEGIN_CONTESTO>>>
+// ${contesto}
+// <<<END_CONTESTO>>>
+
+// <<<INIZIO_CONVERSAZIONE>>>
+// ${conversazione}
+// <<<FINE_CONVERSAZIONE>>>
+
+// RICHIESTA:
+// ${richiesta}
+
+// OUTPUT_FORMAT:
+// Rispondi con un testo piano suddiviso in paragrafi.Evita di usare etichette, elenchi o marcatori speciali.
+
+// RESPONSE:
+// `;
+// }
+/////////////////
+function promptDoc(testo, domanda, docName) {
   return `
-SYSTEM: Sei un assistente AI specializzato nell'analisi di documenti. Rispondi ESCLUSIVAMENTE in italiano. Non usare altre lingue in nessuna parte della risposta.
+RUOLO: Sei un assistente AI specializzato nell'analisi documentale e nell'estrazione mirata di informazioni. Rispondi esclusivamente in italiano.
 
-TASK: Analizza il documento ${docName} ed estrai le informazioni rilevanti per rispondere alla domanda fornita.
+COMPITO: Analizza l'estratto del documento "${docName}" e identifica le informazioni rilevanti per rispondere alla domanda: "${domanda}".
 
-INSTRUCTIONS:
-1. Identifica la tipologia e lo scopo del documento (es. articolo scientifico, racconto, saggio, documento tecnico) e adatta l'analisi di conseguenza.
-2. Analizza attentamente il documento fornito e identifica le informazioni pertinenti alla domanda.
-3. Estrai i concetti chiave e fai inferenze ragionevoli.
-4. Focalizzati sull'estrazione di concetti chiave e inferenze rilevanti per la domanda.
-5. Seleziona citazioni specifiche direttamente collegate alla domanda.
-6. Prepara una risposta chiara e dettagliata.
-7. Inizia con una breve introduzione, sviluppa l'analisi, esponi le inferenze e concludi con una sintesi.
-8. Mantieni un tono oggettivo e uno stile fluido e coerente.
-
-DOCUMENTO:
-<<<INIZIO_DOCUMENTO>>>
-${documento}
-<<<FINE_DOCUMENTO>>>
-
-DOMANDA:
-${domanda}
-
-OUTPUT_FORMAT:
-La risposta dovrà essere strutturata nel seguente modo:
-- Introduzione:
-- Concetti chiave:
-- Citazioni:
-- Inferenze:
-- Dettagli rilevanti:
-- Sintesi:
+ISTRUZIONI:
+1. Esamina il testo e identifica le informazioni utili per costruire un contesto relativo alla domanda.
+2. Per ogni informazione rilevante, fornisci una breve descrizione.
+3. Elenca i punti chiave pertinenti per ogni informazione.
+4. Riporta elementi specifici (dati, citazioni, eventi) se utili per il contesto.
+5. Struttura la risposta secondo il formato di output specificato.
 
-RESPONSE:
+TESTO DA ANALIZZARE:
+<<<INIZIO_TESTO>>>
+${testo}
+<<<FINE_TESTO>>>
+
+FORMATO DI OUTPUT:
+- Informazione 1:
+  Descrizione:
+  Punti chiave:
+  Elementi specifici:
+
+- Informazione  2:
+  Descrizione:
+  Punti chiave:
+  Elementi specifici:
+
+(Ripeti il formato per ogni informazione identificata)
+
+RISPOSTA:
 `;
 }
 
-function promptBuildContext(informazioni, domanda) {
+function promptBuildContext(informazioni, domanda = "") {
   return `
-SYSTEM: Sei un assitente AI specializzato nella riorganizzazione di informazioni come contesto nelle interrogazioni ad un LLM. Rispondi ESCLUSIVAMENTE in italiano. Non usare altre lingue in nessuna parte della risposta.
-
-TASK: Analizza e riorganizza le informazioi rilevanti per rispondere alla domada  fornite seguendo le istruzioni.
-
-INSTRUCTIONS:
-1. Analizza attentamente le informazioi e identifica i temi e i concetti simili.
-2. Estrai i concetti chiave e fai inferenze ragionevoli.
-3. Organizza le informazioni in una struttura logica e coerente.
-4. Includi una breve introduzione che presenti i temi principali.
-5. Sviluppa l'analisi raggruppando le informazioni per argomenti correlati.
-6. Presenta le inferenze e le connessioni tra i diversi concetti.
-7. Includi, se rilevanti, dettagli come nomi propri, termini tecnici, date o luoghi che contribuiscono alla precisione del contesto.
-8. Concludi con una sintesi che riassuma i punti chiave e la struttura logica.
-9. Evidenzia le connessioni tra contenuti estratti da fonti diverse.
-10. Effettua un controllo finale per assicurarti che tutte le informazioni chiave siano state incluse.
-11. Mantieni uno stile fluido e coerente.
-
-INFORAZIONI:
+RUOLO: Sei un assistente AI esperto nella sintesi e nell'organizzazione mirata di informazioni. Rispondi sempre ed esclusivamente in italiano.
+
+COMPITO: Organizza e sintetizza le informazioni estratte da frammenti di testo di un documento, creando un contesto utile per rispondere alla domanda: "${domanda}".
+
+ISTRUZIONI:
+1. Esamina tutte le informazioni fornite.
+2. Seleziona e raggruppa le informazioni pertinenti alla domanda.
+3. Per ogni gruppo di informazioni rilevanti, genera una descrizione concisa.
+4. Elenca i punti chiave essenziali per comprendere il contesto.
+5. Riporta elementi specifici (dati, citazioni, eventi) se utili.
+6. Elimina le informazioni ridondanti, mantenendo solo la versione più completa.
+7. Elabora inferenze logiche basate sulle informazioni, se rilevanti per il contesto.
+8. Genera una sintesi finale del contesto.
+9. Struttura la risposta secondo il formato di output specificato.
+
+INFORMAZIONI:
 <<<INIZIO_INFORMAZIONI>>>
 ${informazioni}
 <<<FINE_INFORMAZIONI>>>
 
-DOMANDA:
-${domanda}
+FORMATO DI OUTPUT:
+- Informazioni 1:
+  Descrizione:
+  Punti chiave:
+  Elementi rilevanti:
 
-OUTPUT_FORMAT:
-La risposta dovrà essere strutturata nel seguente modo:
-- Introduzione:
-- Concetti chiave:
-- Citazioni:
-- Inferenze:
-- Connessioni fra contenuti:
-- Dettagli rilevanti:
-- Sintesi:
+- Informazioni 2:
+  Descrizione:
+  Punti chiave:
+  Elementi rilevanti:
 
-RESPONSE:
+(Ripeti il formato per ogni gruppo di informazioni 
+
+- Inferenze Logiche:
+
+- Sintesi Finale:
+
+RISPOSTA:
 `;
 }
 
 function promptWithContext(contesto, domanda) {
   return `
-SYSTEM: Sei un sistema AI specializzato nell'analisi semantica di informazioni estratte da documenti. Rispondi sempre ed esclusivamente in italiano.
+SYSTEM: Sei un sistema AI specializzato nell'analisi di informazioni estratte da documenti.
 
-TASK: Elabora la risposta alla domanda sulla base del contesto fornito.
+TASK: Elabora la risposta alla domanda "${domanda}" sulla base del contesto fornito.
 
 INSTRUCTIONS:
-1. Analizza attentamente il contesto e identifica le informazioni pertinenti alla domanda.
-2. Estrai i concetti chiave e fai inferenze ragionevoli.
-3. Prepara una risposta chiara e dettagliata utilizzandoo al meglio il contesto.
-4. Inizia con una breve introduzione, sviluppa l'analisi, elabora le inferenze e concludi con una sintesi.
-5. Se la domanda richiede di citare le fonti, fai riferimento al documento fornito distinguendolo chiaramente da eventuali altre fonti citate all'interno del contesto stesso.
-6. Mantieni un tono oggettivo e uno stile fluido e coerente.
+1. Analizza attentamente il contesto fornito, identificando le informazioni pertinenti alla domanda: "${domanda}".
+2. Estrai i concetti chiave e formula inferenze ragionevoli basate sulle informazioni disponibili.
+3. Inizia la risposta con una breve introduzione che presenta l'argomento e il contesto.
+4. Procedi con un'analisi dettagliata delle informazioni rilevanti trovate nel contesto.
+5. Concludi con una sintesi che riassume i punti chiave e fornisce una conclusione generale.
+6. Se richiesto, cita le fonti facendo riferimento al "documento fornito" per il contesto dato, distinguendolo chiaramente da eventuali altre fonti citate all'interno del contesto stesso.
+7. Mantieni uno stile di scrittura fluido durante tutta la risposta.
+8. Assicurati che la risposta sia completa e risponda direttamente alla domanda posta.
 
 CONTESTO:
 <<<INIZIO_CONTESTO>>>
 ${contesto}
 <<<FINE_CONTESTO>>>
 
-DOMANDA:
-${domanda}
+DOMANDA: ${domanda}
 
-OUTPUT_FORMAT:
-Rispondi con un testo piano suddiviso in paragrafi.Evita di usare etichette, elenchi o marcatori speciali.
+OUTPUT_FORMAT: Fornisci la risposta in testo semplice e lineare suddiviso in paragrafi.
 
 RESPONSE:
 `;
@@ -113,14 +257,14 @@ function promptThread(contesto, conversazione, richiesta) {
   return `
 SYSTEM: Sei un assistente AI versatile progettato per gestire conversazioni dinamiche e adattarti a varie richieste. Rispondi sempre in italiano.
 
-TASK: Elabora la risposta alla richiesta sulla base del contesto fornito e della conversazione.
+TASK: Elabora la risposta alla richiesta "${richiesta}" sulla base del contesto fornito e della conversazione.
 
 INSTRUCTIONS:
-1. Analizza attentamente il contesto, la conversazione precedente e la richiesta attuale.
+1. Analizza attentamente il contesto, la conversazione precedente e la richiesta: "${richiesta}".
 2. Interpreta l'intento dell'utente senza limitarti a categorie predefinite.
 3. Adatta la tua risposta in base all'intento percepito, sia esso una domanda, una richiesta di azione, un'istruzione specifica o altro.
 4. Mantieni una stretta coerenza con il contesto della conversazione.
-5. Basa la tua risposta principalmente sulle informazioni fornite nel contesto e nella conversazione.
+5. Basa la tua risposta sulle informazioni fornite nel contesto e nella conversazione.
 6. Evita divagazioni o argomentazioni non direttamente pertinenti alla richiesta o al contesto.
 7. Fai riferimento a informazioni precedenti quando sono pertinenti, citando specificamente la fonte.
 8. Se l'intento non è chiaro, chiedi gentilmente chiarimenti invece di fare supposizioni.
@@ -136,11 +280,9 @@ ${contesto}
 ${conversazione}
 <<<FINE_CONVERSAZIONE>>>
 
-RICHIESTA:
-${richiesta}
+RICHIESTA: ${richiesta}
 
-OUTPUT_FORMAT:
-Rispondi con un testo piano suddiviso in paragrafi.Evita di usare etichette, elenchi o marcatori speciali.
+OUTPUT_FORMAT: Fornisci la risposta in testo semplice e lineare suddiviso in paragrafi.
 
 RESPONSE:
 `;
@@ -205,14 +347,15 @@ function getPayloadDoc(prompt) {
     parameters: {
       task: "text2text-generation",
       max_new_tokens: 1024,
+      min_length:200,
       num_return_sequences: 1,
       temperature: 0.2,
       top_p: 0.85,
       top_k: 30,
       do_sample: false,
-      no_repeat_ngram_size: 4,
+      no_repeat_ngram_size: 3,
       num_beams: 4,
-      repetition_penalty: 1.4,
+      repetition_penalty: 1.5,
       return_full_text: false,
       details: false,
       max_time: 90.0,
@@ -231,15 +374,16 @@ function getPayloadBuildContext(prompt) {
     inputs: prompt,
     parameters: {
       task: "text2text-generation",
-      max_new_tokens: 6000,
+      max_new_tokens: 5000,
+      min_length:400,
       num_return_sequences: 1,
-      temperature: 0.2,
+      temperature: 0.7,//0.2
       top_p: 0.85,
       top_k: 30,
       do_sample: false,
       no_repeat_ngram_size: 4,
-      num_beams: 4,
-      repetition_penalty: 1.2,
+      num_beams: 6,
+      repetition_penalty: 1.4,
       return_full_text: false,
       details: false,
       max_time: 180.0,

static/javascript/rag_rqs.js

@@ -19,7 +19,7 @@
  */
 
 "use strict";
-const VERS = "0.1.49 (27-08-2024)";
+const VERS = "0.1.50 (14-09-2024)";
 
 var xlog = console.log;
 var xerror = console.error;

static/js/ragrqs.min.js

@@ -1,7 +1,7 @@
-function removeTag(a){a=a.replace(/<<</g,"").replace(/>>>/g,"");return a=a.replace(/<</g,"").replace(/>>/g,"")}function uniteBrokenWords(a){return a.replace(/-\n/g,"")}
-function cleanDoc(a){try{return a=removeTag(a),a=a.replace(/-\n/g,""),a=a.replace(/[\u00AD\u200B\u200C\u200D\u2060\uFEFF]/g,""),a=a.replace(/[\u00A0\u2000-\u200A\u202F\u205F\u3000\t\r\f\v]/g," "),a=a.replace(/\\([nrtfb])/g,"$1"),a=a.replace(/\\(u[0-9a-fA-F]{4}|x[0-9a-fA-F]{2})/g,"$1"),a=a.replace(/\\([a-zA-Z]:\\|\\\\[a-zA-Z0-9_]+\\)/g,"\\\\$1"),a=a.replace(/\\/g,""),a=a.replace(/\u201c/g,'"').replace(/\u201d/g,'"'),a=a.replace(/ +([.,;:!?])/g,"$1"),a=a.replace(/\n\s*\n/g,"\n\n"),a=a.replace(/\n{3,}/g,
-"\n\n"),a=a.replace(/ +/g," "),a.trim()}catch(b){return console.error(b),"Errore di codifica del documento"}}
-function cleanResponse(a){try{return a=a.replace(/[\u00AD\u200B\u200C\u200D\u2060\uFEFF]/g,""),a=a.replace(/[\u00A0\u2000-\u200A\u202F\u205F\u3000\t\r\f\v]/g," "),a=a.replace(/\\([nrtfb])/g,"$1"),a=a.replace(/\\(u[0-9a-fA-F]{4}|x[0-9a-fA-F]{2})/g,"$1"),a=a.replace(/\\([a-zA-Z]:\\|\\\\[a-zA-Z0-9_]+\\)/g,"\\\\$1"),a=a.replace(/\\/g,""),a=a.replace(/\n{3,}/g,"\n\n"),a=a.replace(/ +/g," "),a.trim()}catch(b){return console.error(b),`Errore di codifica nella risposta\n${b}`}}
+function removeTag(a){a=a.replace(/<<</g," ").replace(/>>>/g," ");return a=a.replace(/<</g,"").replace(/>>/g,"")}
+function cleanDoc(a){try{return a=removeTag(a),a=a.replace(/(\w+)-\s*\n(\w+)/g,"$1$2"),a=a.replace(/[\u00AD\u200B\u200C\u200D\u2060\uFEFF\u0008]/g,""),a=a.replace(/[\u00A0\u2000-\u200A\u202F\u205F\u3000\t\r\f\v]/g," "),a=a.replace(/\\([nrtfb])/g,"$1"),a=a.replace(/\\(u[0-9a-fA-F]{4}|x[0-9a-fA-F]{2})/g,"$1"),a=a.replace(/\\([a-zA-Z]:\\|\\\\[a-zA-Z0-9_]+\\)/g,"\\$1"),a=a.replace(/\\/g,""),a=a.replace("\u201c",'"').replace("\u201d",'"'),a=a.replace(/\n/g," "),a=a.replace(/ +([.,;:!?])/g,"$1"),a=a.split(/(?<=[.?!])\s+/).filter(b=>
+5<=b.trim().length).map(b=>b.trim()).join("\n"),a=a.replace(/ +/g," "),a.trim()}catch(b){return console.error(b),"Errore di codifica del documento"}}
+function cleanResponse(a){try{return a=removeTag(a),a=a.replace(/[\u00AD\u200B\u200C\u200D\u2060\uFEFF]/g,""),a=a.replace(/[\u00A0\u2000-\u200A\u202F\u205F\u3000\t\r\f\v]/g," "),a=a.replace(/\\([nrtfb])/g,"$1"),a=a.replace(/\\(u[0-9a-fA-F]{4}|x[0-9a-fA-F]{2})/g,"$1"),a=a.replace(/\\([a-zA-Z]:\\|\\\\[a-zA-Z0-9_]+\\)/g,"\\\\$1"),a=a.replace(/\\/g,""),a=a.replace(/\n{3,}/g,"\n\n"),a=a.replace(/ +/g," "),a.trim()}catch(b){return console.error(b),`Errore di codifica nella risposta\n${b}`}}
 function cleanOut(a){return a=a.replace(/\n{3,}/g,"\n\n")};const ID_RESPONSES="id_responses",ID_DOC_NAMES="id_doc_names",ID_DOCS="id_docs;",ID_RAG="id_rag",ID_THREAD="id_thread",UaDb={create(a,b){localStorage.getItem(a)?xerror(`ID ${a} already exists.`):localStorage.setItem(a,b)},read(a){const b=localStorage.getItem(a);return null===b?(xlog(`UaDb.read  ${a} not found.`),""):b},update(a,b){localStorage.getItem(a)?localStorage.setItem(a,b):xlog(`UaDb.update ${a} not found.`)},delete(a){localStorage.getItem(a)?localStorage.removeItem(a):xerror(`ID ${a} not found.`)},
 save(a,b){localStorage.setItem(a,b)},getAllIds(){const a=[];for(let b=0;b<localStorage.length;b++)a.push(localStorage.key(b));return a},saveArray(a,b){b=JSON.stringify(b);UaDb.save(a,b)},readArray(a){a=UaDb.read(a);return 0==a.trim().length?[]:JSON.parse(a)},saveJson(a,b){b=JSON.stringify(b);UaDb.save(a,b)},readJson(a){return(a=UaDb.read(a))?JSON.parse(a):{}}},DataMgr={docs:[],doc_names:[],linkToName(a){a=a.split("/");return a[a.length-1]},async loadDoc(a){this.readDbDocNames();try{const b=await requestGet(a),
 c=cleanDoc(b),d=this.linkToName(a);if(this.doc_names.includes(d))alert(`Il docuento ${d} \u00e8 gi\u00e0 caricato`);else return this.doc_names.push(d),this.docs.push(c),this.saveDbDocs(),c}catch(b){alert("loadDoc()\n"+b+"\n"+a)}},addDoc(a,b){b=cleanDoc(b);this.docs.push(b);this.doc_names.push(a);this.saveDbDocs()},saveDbDocs(){UaDb.saveArray(ID_DOC_NAMES,this.doc_names);UaDb.saveArray(ID_DOCS,this.docs)},readDbDocs(){this.docs=UaDb.readArray(ID_DOCS)},readDbDocNames(){this.doc_names=UaDb.readArray(ID_DOC_NAMES)},
@@ -35,119 +35,119 @@ const MAX_PROMPT_LENGTH=81920,PROMPT_DECR=2048,TIMEOUT=6E4;function wait(a){retu
 const truncInput=(a,b)=>a.substring(0,a.length-b),setMaxLen=a=>a.substring(0,MAX_PROMPT_LENGTH-1E3),getPartSize=(a,b,c)=>{c=MAX_PROMPT_LENGTH-c;a.length+b.length<c?c=a.length:(a=a.indexOf(".",c),a=(-1!=a?a:c)+1,a>c+100&&(a=c),c=a);return c},getPartDoc=(a,b)=>{const c=a.substring(0,b);a=a.substring(b).trim();return[c,a]},ragLog=(a,b,c,d)=>{const e=MAX_PROMPT_LENGTH;d=d.reduce((f,g)=>f+g.length,0);xlog(`${a} mx:${e} lft:${b} rgt:${c} arr:${d}`);a=formatRow([a,b,c,d],[8,-7,-7,-7]);UaLog.log(a)},Rag=
 {ragContext:"",ragQuery:"",ragAnswer:"",answers:[],docContextLst:[],prompts:[],doc:"",doc_part:"",init(){this.readRespsFromDb();this.readFromDb()},returnOk(){return 10<this.ragContext.length},saveToDb(){UaDb.saveJson(ID_RAG,{context:this.ragContext,ragquery:this.ragQuery,raganswer:this.ragAnswer});UaDb.saveArray(ID_THREAD,ThreadMgr.rows)},readFromDb(){const a=UaDb.readJson(ID_RAG);this.ragContext=a.context||"";this.ragQuery=a.ragquery||"";this.ragAnswer=a.raganswer||"";ThreadMgr.rows=UaDb.readArray(ID_THREAD)},
 saveRespToDb(){UaDb.saveArray(ID_RESPONSES,this.answers)},readRespsFromDb(){this.answers=UaDb.readArray(ID_RESPONSES)},async requestDocsRAG(a){DataMgr.deleteJsonDati();DataMgr.readDbDocNames();DataMgr.readDbDocs();this.ragQuery=a;this.saveToDb();var b=0;try{var c=1;for(let e=0;e<DataMgr.docs.length;e++){let f=DataMgr.docs[e];if(""==f.trim())continue;const g=DataMgr.doc_names[e],k=f.length;xlog(`${g} (${k}) `);UaLog.log(`${g} (${k}) `);++b;var d=1;let h=0,l="",t="",u="",m="",v=[];for(;;){let r=getPartSize(f,
-promptDoc("",a,""),h);if(10>r)break;[t,u]=getPartDoc(f,r);ragLog(`${c}) ${b},${d}`,t.length,u.length,this.answers);l=promptDoc(t,a,g);const p=getPayloadDoc(l);try{if(m=await HfRequest.post(p,TIMEOUT),!m)return""}catch(n){console.error("RR1)\n",n);const w=getErrorInfo(n);if(w.errorType===ERROR_TOKENS){UaLog.log(`Error tokens Doc  ${l.length}`);h+=PROMPT_DECR;continue}else if(w.errorType===TIMEOUT_ERROR){UaLog.log("Error timeout Doc");wait(5);continue}else throw n;}d++;c++;f=u;m=cleanResponse(m);v.push(m);
-this.answers.push(`DOCUMENTO : ${g}_${d}\n${m}`)}const x=v.length;let q=v.join("\n\n");for(d="";;){l=promptBuildContext(q,this.ragQuery);const r=getPayloadBuildContext(l);try{if(d=await HfRequest.post(r,TIMEOUT),!d)return""}catch(p){console.error("RR2)",p);const n=getErrorInfo(p);if(n.errorType===ERROR_TOKENS){UaLog.log(`Error tokens build Context ${l.length}`);q=truncInput(q,PROMPT_DECR);q=setMaxLen(q);continue}else if(n.errorType===TIMEOUT_ERROR){UaLog.log("Error timeout build Context");wait(5);
-continue}else throw p;}break}UaLog.log(`context  ${x} => ${d.length}`);d=`\n### DOCUMENTO: ${g}\n ${d}`;this.docContextLst.push(d)}}catch(e){throw console.error(e),e;}this.ragContext=this.docContextLst.join("\n\n");this.saveToDb();b="";c=this.ragContext;try{for(;;){let e=promptWithContext(c,a);const f=getPayloadWithContext(e);try{if(b=await HfRequest.post(f,TIMEOUT),!b)return""}catch(g){console.error("RR3)",g);const k=getErrorInfo(g);if(k.errorType===ERROR_TOKENS){UaLog.log(`Error tokens with Context ${e.length}`);
-c=truncInput(c,PROMPT_DECR);c=setMaxLen(c);continue}else if(k.errorType===TIMEOUT_ERROR){UaLog.log("Error timeout with  Context");wait(5);continue}else throw g;}break}this.ragAnswer=b=cleanResponse(b);this.saveRespToDb();ThreadMgr.init();this.saveToDb();UaLog.log(`Risposta  (${this.ragAnswer.length})`)}catch(e){throw console.error(e),b=`${e}`,e;}finally{return b}},async requestContext(a){let b="";if(!this.ragContext&&!await confirm("Contesto vuoto. Vuoi continuare?"))return"";if(ThreadMgr.isFirst()){ThreadMgr.init();
-try{var c=this.ragContext;let d=ThreadMgr.getThread();for(;;){prompt=promptThread(c,d,a);const e=getPayloadThread(prompt);try{if(b=await HfRequest.post(e,TIMEOUT),!b)return""}catch(f){console.error("RR4)",f);const g=getErrorInfo(f);if(g.errorType===ERROR_TOKENS){UaLog.log(`Error tokens Thread Init ${prompt.length}`);d=truncInput(d,PROMPT_DECR);c=setMaxLen(c);continue}else if(g.errorType===TIMEOUT_ERROR){UaLog.log("Error timeout Thread Init");continue}else throw f;}break}b=cleanResponse(b);ThreadMgr.add(a,
-b);b=ThreadMgr.getThread();UaLog.log(`Inizio Conversazione (${prompt.length})`)}catch(d){throw console.error(d),b=`${d}`,d;}finally{return b}}else try{let d=this.ragContext,e=ThreadMgr.getThread();for(c="";;){c=promptThread(d,e,a);const f=getPayloadThread(c);try{if(b=await HfRequest.post(f,TIMEOUT),!b)return""}catch(g){console.error("RR5)",g);const k=getErrorInfo(g);if(k.errorType===ERROR_TOKENS){UaLog.log(`Error tokens Thread  ${c.length}`);e=truncInput(e,PROMPT_DECR);continue}else if(k.errorType===
+promptDoc("",a,""),h);if(10>r)break;[t,u]=getPartDoc(f,r);ragLog(`${c}) ${b},${d}`,t.length,u.length,this.answers);l=promptDoc(t,a,g);const p=getPayloadDoc(l);try{if(m=await HfRequest.post(p,TIMEOUT),!m)return""}catch(n){console.error("RR1)\n",n);const w=getErrorInfo(n);if(w.errorType===ERROR_TOKENS){UaLog.log(`Error tokens Doc  ${l.length}`);h+=PROMPT_DECR;continue}else if(w.errorType===TIMEOUT_ERROR){UaLog.log("Error timeout Doc");continue}else throw n;}d++;c++;f=u;m=cleanResponse(m);v.push(m);
+this.answers.push(`DOCUMENTO : ${g}_${d}\n${m}`)}const x=v.length;let q=v.join("\n\n");for(d="";;){l=promptBuildContext(q,this.ragQuery);const r=getPayloadBuildContext(l);try{if(d=await HfRequest.post(r,TIMEOUT),!d)return""}catch(p){console.error("RR2)",p);const n=getErrorInfo(p);if(n.errorType===ERROR_TOKENS){UaLog.log(`Error tokens build Context ${l.length}`);q=truncInput(q,PROMPT_DECR);q=setMaxLen(q);continue}else if(n.errorType===TIMEOUT_ERROR){UaLog.log("Error timeout build Context");continue}else throw p;
+}break}UaLog.log(`context  ${x} => ${d.length}`);d=`\n### DOCUMENTO: ${g}\n ${d}`;this.docContextLst.push(d)}}catch(e){throw console.error(e),e;}this.ragContext=this.docContextLst.join("\n\n");this.saveToDb();b="";c=this.ragContext;try{for(;;){let e=promptWithContext(c,a);const f=getPayloadWithContext(e);try{if(b=await HfRequest.post(f,TIMEOUT),!b)return""}catch(g){console.error("RR3)",g);const k=getErrorInfo(g);if(k.errorType===ERROR_TOKENS){UaLog.log(`Error tokens with Context ${e.length}`);c=truncInput(c,
+PROMPT_DECR);c=setMaxLen(c);continue}else if(k.errorType===TIMEOUT_ERROR){UaLog.log("Error timeout with  Context");continue}else throw g;}break}this.ragAnswer=b=cleanResponse(b);this.saveRespToDb();ThreadMgr.init();this.saveToDb();UaLog.log(`Risposta  (${this.ragAnswer.length})`)}catch(e){throw console.error(e),b=`${e}`,e;}finally{return b}},async requestContext(a){let b="";if(!this.ragContext&&!await confirm("Contesto vuoto. Vuoi continuare?"))return"";if(ThreadMgr.isFirst()){ThreadMgr.init();try{var c=
+this.ragContext;let d=ThreadMgr.getThread();for(;;){prompt=promptThread(c,d,a);const e=getPayloadThread(prompt);try{if(b=await HfRequest.post(e,TIMEOUT),!b)return""}catch(f){console.error("RR4)",f);const g=getErrorInfo(f);if(g.errorType===ERROR_TOKENS){UaLog.log(`Error tokens Thread Init ${prompt.length}`);d=truncInput(d,PROMPT_DECR);c=setMaxLen(c);continue}else if(g.errorType===TIMEOUT_ERROR){UaLog.log("Error timeout Thread Init");continue}else throw f;}break}b=cleanResponse(b);ThreadMgr.add(a,b);
+b=ThreadMgr.getThread();UaLog.log(`Inizio Conversazione (${prompt.length})`)}catch(d){throw console.error(d),b=`${d}`,d;}finally{return b}}else try{let d=this.ragContext,e=ThreadMgr.getThread();for(c="";;){c=promptThread(d,e,a);const f=getPayloadThread(c);try{if(b=await HfRequest.post(f,TIMEOUT),!b)return""}catch(g){console.error("RR5)",g);const k=getErrorInfo(g);if(k.errorType===ERROR_TOKENS){UaLog.log(`Error tokens Thread  ${c.length}`);e=truncInput(e,PROMPT_DECR);continue}else if(k.errorType===
 TIMEOUT_ERROR){UaLog.log("Error timeout Thread");continue}else throw g;}break}b=cleanResponse(b);ThreadMgr.add(a,b);b=ThreadMgr.getThread();UaLog.log(`Conversazione  (${c.length})`)}catch(d){throw console.error(d),b=`${d}`,d;}finally{return b}}},LLM="## Assistant:",USER="## User:",ThreadMgr={rows:[],init(){this.rows=[];Rag.ragAnswer?this.add(Rag.ragQuery,Rag.ragAnswer):this.add("","")},add(a,b){this.rows.push([a,b]);UaDb.saveArray(ID_THREAD,ThreadMgr.rows)},getThread(){const a=[];for(const b of this.rows)a.push(`${USER}\n${b[0]}\n${LLM}\n${b[1]}\n`);
 return a.join("\n\n")},isFirst(){return 2>this.rows.length}};function promptDoc(a,b,c){return`
-SYSTEM: Sei un assistente AI specializzato nell'analisi di documenti. Rispondi ESCLUSIVAMENTE in italiano. Non usare altre lingue in nessuna parte della risposta.
+RUOLO: Sei un assistente AI specializzato nell'analisi documentale e nell'estrazione mirata di informazioni. Rispondi esclusivamente in italiano.
 
-TASK: Analizza il documento ${c} ed estrai le informazioni rilevanti per rispondere alla domanda fornita.
+COMPITO: Analizza l'estratto del documento "${c}" e identifica le informazioni rilevanti per rispondere alla domanda: "${b}".
 
-INSTRUCTIONS:
-1. Identifica la tipologia e lo scopo del documento (es. articolo scientifico, racconto, saggio, documento tecnico) e adatta l'analisi di conseguenza.
-2. Analizza attentamente il documento fornito e identifica le informazioni pertinenti alla domanda.
-3. Estrai i concetti chiave e fai inferenze ragionevoli.
-4. Focalizzati sull'estrazione di concetti chiave e inferenze rilevanti per la domanda.
-5. Seleziona citazioni specifiche direttamente collegate alla domanda.
-6. Prepara una risposta chiara e dettagliata.
-7. Inizia con una breve introduzione, sviluppa l'analisi, esponi le inferenze e concludi con una sintesi.
-8. Mantieni un tono oggettivo e uno stile fluido e coerente.
-
-DOCUMENTO:
-<<<INIZIO_DOCUMENTO>>>
-${a}
-<<<FINE_DOCUMENTO>>>
-
-DOMANDA:
-${b}
-
-OUTPUT_FORMAT:
-La risposta dovr\u00e0 essere strutturata nel seguente modo:
-- Introduzione:
-- Concetti chiave:
-- Citazioni:
-- Inferenze:
-- Dettagli rilevanti:
-- Sintesi:
-
-RESPONSE:
-`}function promptBuildContext(a,b){return`
-SYSTEM: Sei un assitente AI specializzato nella riorganizzazione di informazioni come contesto nelle interrogazioni ad un LLM. Rispondi ESCLUSIVAMENTE in italiano. Non usare altre lingue in nessuna parte della risposta.
-
-TASK: Analizza e riorganizza le informazioi rilevanti per rispondere alla domada  fornite seguendo le istruzioni.
+ISTRUZIONI:
+1. Esamina il testo e identifica le informazioni utili per costruire un contesto relativo alla domanda.
+2. Per ogni informazione rilevante, fornisci una breve descrizione.
+3. Elenca i punti chiave pertinenti per ogni informazione.
+4. Riporta elementi specifici (dati, citazioni, eventi) se utili per il contesto.
+5. Struttura la risposta secondo il formato di output specificato.
 
-INSTRUCTIONS:
-1. Analizza attentamente le informazioi e identifica i temi e i concetti simili.
-2. Estrai i concetti chiave e fai inferenze ragionevoli.
-3. Organizza le informazioni in una struttura logica e coerente.
-4. Includi una breve introduzione che presenti i temi principali.
-5. Sviluppa l'analisi raggruppando le informazioni per argomenti correlati.
-6. Presenta le inferenze e le connessioni tra i diversi concetti.
-7. Includi, se rilevanti, dettagli come nomi propri, termini tecnici, date o luoghi che contribuiscono alla precisione del contesto.
-8. Concludi con una sintesi che riassuma i punti chiave e la struttura logica.
-9. Evidenzia le connessioni tra contenuti estratti da fonti diverse.
-10. Effettua un controllo finale per assicurarti che tutte le informazioni chiave siano state incluse.
-11. Mantieni uno stile fluido e coerente.
-
-INFORAZIONI:
+TESTO DA ANALIZZARE:
+<<<INIZIO_TESTO>>>
+${a}
+<<<FINE_TESTO>>>
+
+FORMATO DI OUTPUT:
+- Informazione 1:
+  Descrizione:
+  Punti chiave:
+  Elementi specifici:
+
+- Informazione  2:
+  Descrizione:
+  Punti chiave:
+  Elementi specifici:
+
+(Ripeti il formato per ogni informazione identificata)
+
+RISPOSTA:
+`}function promptBuildContext(a,b=""){return`
+RUOLO: Sei un assistente AI esperto nella sintesi e nell'organizzazione mirata di informazioni. Rispondi sempre ed esclusivamente in italiano.
+
+COMPITO: Organizza e sintetizza le informazioni estratte da frammenti di testo di un documento, creando un contesto utile per rispondere alla domanda: "${b}".
+
+ISTRUZIONI:
+1. Esamina tutte le informazioni fornite.
+2. Seleziona e raggruppa le informazioni pertinenti alla domanda.
+3. Per ogni gruppo di informazioni rilevanti, genera una descrizione concisa.
+4. Elenca i punti chiave essenziali per comprendere il contesto.
+5. Riporta elementi specifici (dati, citazioni, eventi) se utili.
+6. Elimina le informazioni ridondanti, mantenendo solo la versione pi\u00f9 completa.
+7. Elabora inferenze logiche basate sulle informazioni, se rilevanti per il contesto.
+8. Genera una sintesi finale del contesto.
+9. Struttura la risposta secondo il formato di output specificato.
+
+INFORMAZIONI:
 <<<INIZIO_INFORMAZIONI>>>
 ${a}
 <<<FINE_INFORMAZIONI>>>
 
-DOMANDA:
-${b}
+FORMATO DI OUTPUT:
+- Informazioni 1:
+  Descrizione:
+  Punti chiave:
+  Elementi rilevanti:
 
-OUTPUT_FORMAT:
-La risposta dovr\u00e0 essere strutturata nel seguente modo:
-- Introduzione:
-- Concetti chiave:
-- Citazioni:
-- Inferenze:
-- Connessioni fra contenuti:
-- Dettagli rilevanti:
-- Sintesi:
+- Informazioni 2:
+  Descrizione:
+  Punti chiave:
+  Elementi rilevanti:
 
-RESPONSE:
+(Ripeti il formato per ogni gruppo di informazioni 
+
+- Inferenze Logiche:
+
+- Sintesi Finale:
+
+RISPOSTA:
 `}function promptWithContext(a,b){return`
-SYSTEM: Sei un sistema AI specializzato nell'analisi semantica di informazioni estratte da documenti. Rispondi sempre ed esclusivamente in italiano.
+SYSTEM: Sei un sistema AI specializzato nell'analisi di informazioni estratte da documenti.
 
-TASK: Elabora la risposta alla domanda sulla base del contesto fornito.
+TASK: Elabora la risposta alla domanda "${b}" sulla base del contesto fornito.
 
 INSTRUCTIONS:
-1. Analizza attentamente il contesto e identifica le informazioni pertinenti alla domanda.
-2. Estrai i concetti chiave e fai inferenze ragionevoli.
-3. Prepara una risposta chiara e dettagliata utilizzandoo al meglio il contesto.
-4. Inizia con una breve introduzione, sviluppa l'analisi, elabora le inferenze e concludi con una sintesi.
-5. Se la domanda richiede di citare le fonti, fai riferimento al documento fornito distinguendolo chiaramente da eventuali altre fonti citate all'interno del contesto stesso.
-6. Mantieni un tono oggettivo e uno stile fluido e coerente.
+1. Analizza attentamente il contesto fornito, identificando le informazioni pertinenti alla domanda: "${b}".
+2. Estrai i concetti chiave e formula inferenze ragionevoli basate sulle informazioni disponibili.
+3. Inizia la risposta con una breve introduzione che presenta l'argomento e il contesto.
+4. Procedi con un'analisi dettagliata delle informazioni rilevanti trovate nel contesto.
+5. Concludi con una sintesi che riassume i punti chiave e fornisce una conclusione generale.
+6. Se richiesto, cita le fonti facendo riferimento al "documento fornito" per il contesto dato, distinguendolo chiaramente da eventuali altre fonti citate all'interno del contesto stesso.
+7. Mantieni uno stile di scrittura fluido durante tutta la risposta.
+8. Assicurati che la risposta sia completa e risponda direttamente alla domanda posta.
 
 CONTESTO:
 <<<INIZIO_CONTESTO>>>
 ${a}
 <<<FINE_CONTESTO>>>
 
-DOMANDA:
-${b}
+DOMANDA: ${b}
 
-OUTPUT_FORMAT:
-Rispondi con un testo piano suddiviso in paragrafi.Evita di usare etichette, elenchi o marcatori speciali.
+OUTPUT_FORMAT: Fornisci la risposta in testo semplice e lineare suddiviso in paragrafi.
 
 RESPONSE:
 `}function promptThread(a,b,c){return`
 SYSTEM: Sei un assistente AI versatile progettato per gestire conversazioni dinamiche e adattarti a varie richieste. Rispondi sempre in italiano.
 
-TASK: Elabora la risposta alla richiesta sulla base del contesto fornito e della conversazione.
+TASK: Elabora la risposta alla richiesta "${c}" sulla base del contesto fornito e della conversazione.
 
 INSTRUCTIONS:
-1. Analizza attentamente il contesto, la conversazione precedente e la richiesta attuale.
+1. Analizza attentamente il contesto, la conversazione precedente e la richiesta: "${c}".
 2. Interpreta l'intento dell'utente senza limitarti a categorie predefinite.
 3. Adatta la tua risposta in base all'intento percepito, sia esso una domanda, una richiesta di azione, un'istruzione specifica o altro.
 4. Mantieni una stretta coerenza con il contesto della conversazione.
-5. Basa la tua risposta principalmente sulle informazioni fornite nel contesto e nella conversazione.
+5. Basa la tua risposta sulle informazioni fornite nel contesto e nella conversazione.
 6. Evita divagazioni o argomentazioni non direttamente pertinenti alla richiesta o al contesto.
 7. Fai riferimento a informazioni precedenti quando sono pertinenti, citando specificamente la fonte.
 8. Se l'intento non \u00e8 chiaro, chiedi gentilmente chiarimenti invece di fare supposizioni.
@@ -163,17 +163,15 @@ ${a}
 ${b}
 <<<FINE_CONVERSAZIONE>>>
 
-RICHIESTA:
-${c}
+RICHIESTA: ${c}
 
-OUTPUT_FORMAT:
-Rispondi con un testo piano suddiviso in paragrafi.Evita di usare etichette, elenchi o marcatori speciali.
+OUTPUT_FORMAT: Fornisci la risposta in testo semplice e lineare suddiviso in paragrafi.
 
 RESPONSE:
-`}function getPayloadDoc(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:1024,num_return_sequences:1,temperature:.2,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:4,num_beams:4,repetition_penalty:1.4,return_full_text:!1,details:!1,max_time:90,seed:42},options:{use_cache:!1,wait_for_model:!0}}}
-function getPayloadBuildContext(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:6E3,num_return_sequences:1,temperature:.2,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:4,num_beams:4,repetition_penalty:1.2,return_full_text:!1,details:!1,max_time:180,seed:42},options:{use_cache:!1,wait_for_model:!0}}}
+`}function getPayloadDoc(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:1024,min_length:200,num_return_sequences:1,temperature:.2,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:3,num_beams:4,repetition_penalty:1.5,return_full_text:!1,details:!1,max_time:90,seed:42},options:{use_cache:!1,wait_for_model:!0}}}
+function getPayloadBuildContext(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:5E3,min_length:400,num_return_sequences:1,temperature:.7,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:4,num_beams:6,repetition_penalty:1.4,return_full_text:!1,details:!1,max_time:180,seed:42},options:{use_cache:!1,wait_for_model:!0}}}
 function getPayloadWithContext(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:2048,num_return_sequences:1,temperature:.3,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:4,num_beams:5,repetition_penalty:1.4,return_full_text:!1,details:!1,max_time:120,seed:42},options:{use_cache:!1,wait_for_model:!0}}}
-function getPayloadThread(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:2048,num_return_sequences:1,temperature:.3,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:4,num_beams:5,repetition_penalty:1.4,return_full_text:!1,details:!1,max_time:120,seed:42},options:{use_cache:!1,wait_for_model:!0}}};const VERS="0.1.49 (27-08-2024)";var xlog=console.log,xerror=console.error;const cancelRequest=()=>{confirm("Confermi Cancellazione Richeista ?")&&(HfRequest.cancelRequest(),hideSpinner())},showSpinner=()=>{const a=document.getElementById("spinner");a.classList.add("show-spinner");a.addEventListener("click",cancelRequest)},hideSpinner=()=>{const a=document.getElementById("spinner");a.classList.remove("show-spinner");a.removeEventListener("click",cancelRequest)};var tm;
+function getPayloadThread(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:2048,num_return_sequences:1,temperature:.3,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:4,num_beams:5,repetition_penalty:1.4,return_full_text:!1,details:!1,max_time:120,seed:42},options:{use_cache:!1,wait_for_model:!0}}};const VERS="0.1.50 (14-09-2024)";var xlog=console.log,xerror=console.error;const cancelRequest=()=>{confirm("Confermi Cancellazione Richeista ?")&&(HfRequest.cancelRequest(),hideSpinner())},showSpinner=()=>{const a=document.getElementById("spinner");a.classList.add("show-spinner");a.addEventListener("click",cancelRequest)},hideSpinner=()=>{const a=document.getElementById("spinner");a.classList.remove("show-spinner");a.removeEventListener("click",cancelRequest)};var tm;
 function openApp(){setTimeout(()=>{tm=umgm();wnds.init();Menu.init();TextInput.init();TextOutput.init();Rag.init();document.querySelector(".menu-btn").checked=!1;release();showHistory()},10)}function showHistory(){const a=ThreadMgr.getThread();setOutText(a)}function release(){document.querySelector(".release").innerHTML=VERS}const op0=async function(a){a=await requestGet("./help1.html");wnds.wdiv.show(a)};function showQuery(a){wnds.wpre.show(`\n${Rag.ragQuery}`)}
 function showRagResponse(a){wnds.wpre.show(`\n${Rag.ragAnswer}`)}function showThread(a){a=ThreadMgr.getThread();wnds.wpre.show(a)}function elencoRisposte(a){a=[...Rag.answers];0==a.length&&(a=UaDb.readArray(ID_RESPONSES));0!=a.length&&(a=a.map((b,c)=>`\n[${c+1}]\n ${b.trim()}`).join("\n"),wnds.wpre.show(a))}function showContesto(a){wnds.wpre.show(`${Rag.ragContext}`)}
 function elencoDati(a){var b=UaDb.getAllIds();a=[];for(var c of b)b=UaDb.read(c).length,a.push(`${c} (${b})`);c=a.join("\n ");wnds.wpre.show(c)}const showT=a=>{wnds.wpre.show(DataMgr.docs[a])};function elencoDocs(){DataMgr.readDbDocs();DataMgr.readDbDocNames();var a=DataMgr.doc_names,b=UaJtfh();let c=0;b.append("<ul>");for(const g of a){a=b;var d=a.append,e=g,f=c++;d.call(a,`