Upload folder using huggingface_hub

static/javascript/rag_http.js

@@ -1,8 +1,8 @@
 /** @format */
 "use strict";
 
-// const model_name = "mistralai/Mistral-7B-Instruct-v0.3";
-const model_name = "mistralai/Mixtral-8x7B-Instruct-v0.1";
+const model_name = "mistralai/Mistral-7B-Instruct-v0.3";
+// const model_name = "mistralai/Mixtral-8x7B-Instruct-v0.1";
 // const model_name = "mistralai/Mixtral-8x22B-Instruct-v0.1"
 
 async function requestGet(url) {

static/javascript/rag_mgr.js

@@ -197,9 +197,9 @@ const Rag = {
           const s = `DOCUMENTO : ${docName}_${npart}\n${answer}`;
           this.answers.push(s);
         } // end while
-        //implemntare build context
+        //TODO implemntare build context
         const docAnswersLen = docAnswersLst.length;
-        let docAnswresTxt = docAnswersLst.join("\n\n"); //TODO
+        let docAnswresTxt = docAnswersLst.join("\n\n"); 
         let docContext = "";
 
         while (true) {
@@ -227,7 +227,6 @@ const Rag = {
           break;
         } //end while
         UaLog.log(`context  ${docAnswersLen} => ${docContext.length}`);
-        // docContext = cleanResponse(docContext); //AAA
         docContext = `\n### DOCUMENTO: ${docName}\n ${docContext}`;
         this.docContextLst.push(docContext);
       } // end for document
@@ -289,6 +288,8 @@ const Rag = {
     if (!this.ragContext) {
       const ok = await confirm("Contesto vuoto. Vuoi continuare?");
       if (!ok) return "";
+      // HACK gestisce il pulsante verde che ha accettao il contetso vuoto
+      this.ragContext="Sei un assitente AI dispoibile a soddisfare tutte le mi richieste";
     }
     if (ThreadMgr.isFirst()) {
       ThreadMgr.init();

static/javascript/rag_prompts.js

@@ -9,8 +9,8 @@ SYSTEM: Sei un assistente AI specializzato nell'analisi documentale e nell'estra
 TASK: Analizza il testo estratto dal documento "${docName}" e identifica gli elementi rilevanti per rispondere alla domanda: "${domanda}".
 
 INSTRUCTIONS:
-1. Analizza attentamente il testo fornito.
-2. Identifica gli elementi utili per rispondere alla domanda ("${domanda}").
+1. Analizza attentamente il testo fornito compreso fra i marker <<<INIZIO_TESTO>>> e <<<FINE_TESTO>>> .
+2. Identifica gli elementi utili per rispondere alla domanda:"${domanda}".
 3. Per ogni elemento individuato, fornisci un titolo ed una descrizione sintetica ma completa.
 4. Riporta dettagli specifici (dati, citazioni, eventi, personaggi, luoghi, ..) se corelati alla domanda.
 5. Se non ci sono informazioni rilevanti, rispondi con "NESSUNA INFORMAZIONE RILEVANTE".
@@ -29,6 +29,7 @@ RESPONSE:
 `;
 }
 
+
 function promptBuildContext(informazioni, domanda = "") {
   return `
 SYSTEM: Sei un assistente AI esperto nella sintesi e nell'organizzazione mirata di informazioni. Rispondi sempre ed esclusivamente in italiano.

static/javascript/rag_rqs.js

@@ -19,7 +19,7 @@
  */
 
 "use strict";
-const VERS = "0.1.54 (10-11-2024)";
+const VERS = "0.1.58 (02-12-2024)";
 
 var xlog = console.log;
 var xerror = console.error;
@@ -82,6 +82,18 @@ function openApp() {
   }, 10);
 }
 
+// function openApp() {
+//   tm = umgm();
+//   wnds.init();
+//   Menu.init();
+//   TextInput.init();
+//   TextOutput.init();
+//   Rag.init();
+//   document.querySelector(".menu-btn").checked = false;
+//   release();
+//   showHistory();
+// }
+
 // Visualizza la storia della conversazione
 function showHistory() {
   const txt = ThreadMgr.getThread();
@@ -252,6 +264,28 @@ async function help2(e) {
   wnds.wdiv.show(text);
 }
 
+
+function getTheme() {
+  const t = localStorage.getItem("theme");
+  if (!!t && t == "dark") setDark();
+}
+
+function setLight() {
+  document.documentElement.classList.toggle("invert");
+  document.body.classList.remove("theme-dark");
+  document.body.classList.add("theme-light");
+  localStorage.setItem("theme", "ligth");
+}
+
+function setDark() {
+  document.documentElement.classList.toggle("invert");
+  document.body.classList.remove("theme-light");
+  document.body.classList.add("theme-dark");
+  localStorage.setItem("theme", "dark");
+}
+
+
+
 ////////////////////////////////
 // Solo Sviluppo
 

static/javascript/rag_ui.js

@@ -181,20 +181,19 @@ const setOutText = (txt) => {
 };
 
 // const setOutText2 = async (txt) => {
-  // const t = p.textContent;
-  // if (t.trim().length < 2) {
-  //   p.textContent = txt;
-  //   p.scrollTop = p.scrollHeight;
-  //   return;
-  // }
-  // for (let i = 0; i < txt.length; i++) {
-  //   p.textContent += txt[i];
-  //   p.scrollTop = p.scrollHeight;
-  //   await new Promise((resolve) => setTimeout(resolve, 2));
-  // }
+// const t = p.textContent;
+// if (t.trim().length < 2) {
+//   p.textContent = txt;
+//   p.scrollTop = p.scrollHeight;
+//   return;
+// }
+// for (let i = 0; i < txt.length; i++) {
+//   p.textContent += txt[i];
+//   p.scrollTop = p.scrollHeight;
+//   await new Promise((resolve) => setTimeout(resolve, 2));
+// }
 // };
 
-
 const TextInput = {
   wnd: null,
   init() {
@@ -252,7 +251,8 @@ const TextInput = {
   },
   handleEnter(e) {
     if (e.key === "Enter" && !e.shiftKey) {
-      if (!Rag.returnOk()) return;
+      // TODO gestire correttamnet enter  quando il context è vuoto
+      // if (!Rag.returnOk()) return;
       e.preventDefault();
       this.send2();
     }
@@ -327,7 +327,6 @@ const TextInput = {
   },
 };
 
-
 TextOutput = {
   init() {
     this.copyBtn = document.querySelector(".copy-output");

static/js/ragrqs.min.js

@@ -5,7 +5,7 @@ function cleanResponse(a){try{return a=removeTag(a),a=a.replace(/[\u00AD\u200B\u
 function cleanOut(a){return a=a.replace(/\n{3,}/g,"\n\n")};const ID_RESPONSES="id_responses",ID_DOC_NAMES="id_doc_names",ID_DOCS="id_docs;",ID_RAG="id_rag",ID_THREAD="id_thread",UaDb={create(a,b){localStorage.getItem(a)?xerror(`ID ${a} already exists.`):localStorage.setItem(a,b)},read(a){const b=localStorage.getItem(a);return null===b?(xlog(`UaDb.read  ${a} not found.`),""):b},update(a,b){localStorage.getItem(a)?localStorage.setItem(a,b):xlog(`UaDb.update ${a} not found.`)},delete(a){localStorage.getItem(a)?localStorage.removeItem(a):xerror(`ID ${a} not found.`)},
 save(a,b){localStorage.setItem(a,b)},getAllIds(){const a=[];for(let b=0;b<localStorage.length;b++)a.push(localStorage.key(b));return a},saveArray(a,b){b=JSON.stringify(b);UaDb.save(a,b)},readArray(a){a=UaDb.read(a);return 0==a.trim().length?[]:JSON.parse(a)},saveJson(a,b){b=JSON.stringify(b);UaDb.save(a,b)},readJson(a){return(a=UaDb.read(a))?JSON.parse(a):{}}},DataMgr={docs:[],doc_names:[],linkToName(a){a=a.split("/");return a[a.length-1]},async loadDoc(a){this.readDbDocNames();try{const b=await requestGet(a),
 c=cleanDoc(b),d=this.linkToName(a);if(this.doc_names.includes(d))alert(`Il docuento ${d} \u00e8 gi\u00e0 caricato`);else return this.doc_names.push(d),this.docs.push(c),this.saveDbDocs(),c}catch(b){alert("loadDoc()\n"+b+"\n"+a)}},addDoc(a,b){b=cleanDoc(b);this.docs.push(b);this.doc_names.push(a);this.saveDbDocs()},saveDbDocs(){UaDb.saveArray(ID_DOC_NAMES,this.doc_names);UaDb.saveArray(ID_DOCS,this.docs)},readDbDocs(){this.docs=UaDb.readArray(ID_DOCS)},readDbDocNames(){this.doc_names=UaDb.readArray(ID_DOC_NAMES)},
-deleteJsonDati(){const a=UaDb.getAllIds();for(const b of a)[ID_DOCS,ID_DOC_NAMES].includes(b)||UaDb.delete(b);Rag.ragQuery="";Rag.ragContext="";Rag.ragAnswer="";Rag.answers=[];Rag.prompts=[];ThreadMgr.rows=[]}};function umgm(){return["bWtkSGxRfVA=","aFN1b2dycm0=","WXBfclhfUGk=","TVhWTV1aW04=","fVJPa00="].map(a=>atob(a).split("").map(b=>String.fromCharCode((b.charCodeAt(0)-5+256)%256)).join("")).join("")};const model_name="mistralai/Mixtral-8x7B-Instruct-v0.1";async function requestGet(a){try{var b=await fetch(a,{method:"GET",headers:{"Content-Type":"text/plain;charset=UTF-8"}});if(!b.ok)throw Error(`HTTP error! status: ${b.status}`);const c=await b.arrayBuffer();return(new TextDecoder("utf-8")).decode(c)}catch(c){throw console.error(c),b="AbortError"===c.name?"Request was aborted":c.message.includes("HTTP error! status")?c.message:"An error occurred",alert(`requestGet()\nurl: ${a}\n${b}`),c;}}
+deleteJsonDati(){const a=UaDb.getAllIds();for(const b of a)[ID_DOCS,ID_DOC_NAMES].includes(b)||UaDb.delete(b);Rag.ragQuery="";Rag.ragContext="";Rag.ragAnswer="";Rag.answers=[];Rag.prompts=[];ThreadMgr.rows=[]}};function umgm(){return["bWtkSGxRfVA=","aFN1b2dycm0=","WXBfclhfUGk=","TVhWTV1aW04=","fVJPa00="].map(a=>atob(a).split("").map(b=>String.fromCharCode((b.charCodeAt(0)-5+256)%256)).join("")).join("")};const model_name="mistralai/Mistral-7B-Instruct-v0.3";async function requestGet(a){try{var b=await fetch(a,{method:"GET",headers:{"Content-Type":"text/plain;charset=UTF-8"}});if(!b.ok)throw Error(`HTTP error! status: ${b.status}`);const c=await b.arrayBuffer();return(new TextDecoder("utf-8")).decode(c)}catch(c){throw console.error(c),b="AbortError"===c.name?"Request was aborted":c.message.includes("HTTP error! status")?c.message:"An error occurred",alert(`requestGet()\nurl: ${a}\n${b}`),c;}}
 const ERROR_TOKENS="ERROR_TOKENS",TIMEOUT_ERROR="TIMEOUT_ERROR",getErrorType=(a,b)=>500<=a?"SERVER_ERROR":400<=a&&500>a?"object"===typeof b&&"validation"===b.error_type?b.error.includes("tokens")?ERROR_TOKENS:"ERROR_VALIDATION":"CLIENT_ERROR":"UNKNOWN_ERROR",checkResponse=a=>a&&Array.isArray(a)&&0!==a.length?a[0].generated_text?"ok":"MISSING_GENERATED_TEXT":"INVALID_DATA",createErrorInfo=(a,b,c,d)=>JSON.stringify({status:a,statusText:b,errorType:d,message:c||"Errore sconosciuto"}),HfRequest={controller:null,
 isCancelled:!1,baseUrl:"https://api-inference.huggingface.co/models",async post(a,b=5E4){this.isCancelled=!1;this.controller=new AbortController;let c;try{const d=setTimeout(()=>{this.controller.abort()},b);c=await fetch(`${this.baseUrl}/${model_name}`,{method:"POST",headers:{Authorization:`Bearer ${tm}`,"Content-Type":"application/json"},body:JSON.stringify(a),signal:this.controller.signal});clearTimeout(d);if(this.isCancelled)return null;const e=await c.json();if(!c.ok){const g=getErrorType(c.status,
 e),k=createErrorInfo(c.status,c.statusText,e.error,g);throw Error(k);}const f=checkResponse(e);if("ok"!==f){const g=createErrorInfo(c.status,c.statusText,e.error,f);throw Error(g);}return e[0].generated_text.trim()}catch(d){if(this.isCancelled)return null;if("AbortError"===d.name)throw a=createErrorInfo(0,"Timeout","La richiesta \u00e8 scaduta",TIMEOUT_ERROR),Error(a);throw d;}},cancelRequest(){this.controller&&(this.isCancelled=!0,this.controller.abort())}};
@@ -38,7 +38,7 @@ saveRespToDb(){UaDb.saveArray(ID_RESPONSES,this.answers)},readRespsFromDb(){this
 promptDoc("",a,""),h);if(10>r)break;[t,u]=getPartDoc(f,r);ragLog(`${c}) ${b},${d}`,t.length,u.length,this.answers);l=promptDoc(t,a,g);const p=getPayloadDoc(l);try{if(m=await HfRequest.post(p,TIMEOUT),!m)return""}catch(n){console.error("RR1)\n",n);const w=getErrorInfo(n);if(w.errorType===ERROR_TOKENS){UaLog.log(`Error tokens Doc  ${l.length}`);h+=PROMPT_DECR;continue}else if(w.errorType===TIMEOUT_ERROR){UaLog.log("Error timeout Doc");continue}else UaLog.log(`Error ${n}`),m=`ERROR \n${n}\n`}d++;c++;
 f=u;m=cleanResponse(m);v.push(m);this.answers.push(`DOCUMENTO : ${g}_${d}\n${m}`)}const x=v.length;let q=v.join("\n\n");for(d="";;){l=promptBuildContext(q,this.ragQuery);const r=getPayloadBuildContext(l);try{if(d=await HfRequest.post(r,TIMEOUT),!d)return""}catch(p){console.error("RR2)",p);const n=getErrorInfo(p);if(n.errorType===ERROR_TOKENS){UaLog.log(`Error tokens build Context ${l.length}`);q=truncInput(q,PROMPT_DECR);q=setMaxLen(q);continue}else if(n.errorType===TIMEOUT_ERROR){UaLog.log("Error timeout build Context");
 continue}else throw p;}break}UaLog.log(`context  ${x} => ${d.length}`);d=`\n### DOCUMENTO: ${g}\n ${d}`;this.docContextLst.push(d)}}catch(e){throw console.error(e),e;}this.ragContext=this.docContextLst.join("\n\n");this.saveToDb();b="";c=this.ragContext;try{for(;;){let e=promptWithContext(c,a);const f=getPayloadWithContext(e);try{if(b=await HfRequest.post(f,TIMEOUT),!b)return""}catch(g){console.error("RR3)",g);const k=getErrorInfo(g);if(k.errorType===ERROR_TOKENS){UaLog.log(`Error tokens with Context ${e.length}`);
-c=truncInput(c,PROMPT_DECR);c=setMaxLen(c);continue}else if(k.errorType===TIMEOUT_ERROR){UaLog.log("Error timeout with  Context");continue}else throw g;}break}this.ragAnswer=b=cleanResponse(b);this.saveRespToDb();ThreadMgr.init();this.saveToDb();UaLog.log(`Risposta  (${this.ragAnswer.length})`)}catch(e){throw console.error(e),b=`${e}`,e;}finally{return b}},async requestContext(a){let b="";if(!this.ragContext&&!await confirm("Contesto vuoto. Vuoi continuare?"))return"";if(ThreadMgr.isFirst()){ThreadMgr.init();
+c=truncInput(c,PROMPT_DECR);c=setMaxLen(c);continue}else if(k.errorType===TIMEOUT_ERROR){UaLog.log("Error timeout with  Context");continue}else throw g;}break}this.ragAnswer=b=cleanResponse(b);this.saveRespToDb();ThreadMgr.init();this.saveToDb();UaLog.log(`Risposta  (${this.ragAnswer.length})`)}catch(e){throw console.error(e),b=`${e}`,e;}finally{return b}},async requestContext(a){let b="";if(!this.ragContext){if(!await confirm("Contesto vuoto. Vuoi continuare?"))return"";this.ragContext="Sei un assitente AI dispoibile a soddisfare tutte le mi richieste"}if(ThreadMgr.isFirst()){ThreadMgr.init();
 try{var c=this.ragContext;let d=ThreadMgr.getThread();for(;;){prompt=promptThread(c,d,a);const e=getPayloadThread(prompt);try{if(b=await HfRequest.post(e,TIMEOUT),!b)return""}catch(f){console.error("RR4)",f);const g=getErrorInfo(f);if(g.errorType===ERROR_TOKENS){UaLog.log(`Error tokens Thread Init ${prompt.length}`);d=truncInput(d,PROMPT_DECR);c=setMaxLen(c);continue}else if(g.errorType===TIMEOUT_ERROR){UaLog.log("Error timeout Thread Init");continue}else throw f;}break}b=cleanResponse(b);ThreadMgr.add(a,
 b);b=ThreadMgr.getThread();UaLog.log(`Inizio Conversazione (${prompt.length})`)}catch(d){throw console.error(d),b=`${d}`,d;}finally{return b}}else try{let d=this.ragContext,e=ThreadMgr.getThread();for(c="";;){c=promptThread(d,e,a);const f=getPayloadThread(c);try{if(b=await HfRequest.post(f,TIMEOUT),!b)return""}catch(g){console.error("RR5)",g);const k=getErrorInfo(g);if(k.errorType===ERROR_TOKENS){UaLog.log(`Error tokens Thread  ${c.length}`);e=truncInput(e,PROMPT_DECR);continue}else if(k.errorType===
 TIMEOUT_ERROR){UaLog.log("Error timeout Thread");continue}else throw g;}break}b=cleanResponse(b);ThreadMgr.add(a,b);b=ThreadMgr.getThread();UaLog.log(`Conversazione  (${c.length})`)}catch(d){throw console.error(d),b=`${d}`,d;}finally{return b}}},LLM="## Assistant:",USER="## User:",ThreadMgr={rows:[],init(){this.rows=[];Rag.ragAnswer?this.add(Rag.ragQuery,Rag.ragAnswer):this.add("","")},add(a,b){this.rows.push([a,b]);UaDb.saveArray(ID_THREAD,ThreadMgr.rows)},getThread(){const a=[];for(const b of this.rows)a.push(`${USER}\n${b[0]}\n${LLM}\n${b[1]}\n`);
@@ -48,113 +48,8 @@ SYSTEM: Sei un assistente AI specializzato nell'analisi documentale e nell'estra
 TASK: Analizza il testo estratto dal documento "${c}" e identifica gli elementi rilevanti per rispondere alla domanda: "${b}".
 
 INSTRUCTIONS:
-1. Analizza attentamente il testo fornito.
-2. Identifica gli elementi utili per rispondere alla domanda ("${b}").
-3. Per ogni elemento individuato, fornisci un titolo ed una descrizione sintetica ma completa.
-4. Riporta dettagli specifici (dati, citazioni, eventi, personaggi, luoghi, ..) se corelati alla domanda.
-5. Se non ci sono informazioni rilevanti, rispondi con "NESSUNA INFORMAZIONE RILEVANTE".
-6. Assicurati di generare la risposta esattamente secondo il formato di output specificato.
-
-DOMANDA: ${b}
-
-TESTO DA ANALIZZARE:
-<<<INIZIO_TESTO>>>
-${a}
-<<<FINE_TESTO>>>
-
-OUTPUT_FORMAT: Genera una risposta strutturata come un elenco nel quale ogni elemento \u00e8 costituito da un breve titolo e da una descrizione concisa ma completa.
-
-RESPONSE:
-`}function promptBuildContext(a,b=""){return`
-SYSTEM: Sei un assistente AI esperto nella sintesi e nell'organizzazione mirata di informazioni. Rispondi sempre ed esclusivamente in italiano.
-
-TASK: Organizza e sintetizza le informazioni estratte da frammenti di testo di un documento, creando un contesto utile per rispondere alla domanda: "${b}".
-
-INSTRUCTIONS:
-1. Analizza tutte le informazioni fornite.
-2. Seleziona e raggruppa le informazioni simili.
-3. Per ogni informazioni, genera una descrizione concisa.
-4. Elenca i punti chiave essenziali per comprendere il contesto.
-5. Riporta elementi specifici (dati, citazioni, eventi, luoghi, personaggi, ..) se utili.
-6. Elabora inferenze logiche basate sulle informazioni, se rilevanti per il contesto.
-7. Genera una sintesi finale.
-8. Assicurati di strutturare la tua risposta esattamente secondo il formato di output specificato.
-
-INFORMAZIONI:
-<<<INIZIO_INFORMAZIONI>>>
-${a}
-<<<FINE_INFORMAZIONI>>>
-
-OUTPUT_FORMAT: Genera una risposta strutturata come un elenco nel quale ogni elemento \u00e8 costituito da un breve titolo e da una descrizione concisa ma completa, alla fine dell'elenco aggiungi una sintesi globale ed eventuali inferenze logiche e collegamenti fra le varie informazioni.
-
-RESPONSE:
-`}function promptWithContext(a,b){return`
-SYSTEM: Sei un sistema AI specializzato nell'analisi di informazioni estratte da documenti.
-
-TASK: Elabora la risposta alla domanda "${b}" sulla base del contesto fornito.
-
-INSTRUCTIONS:
-1. Analizza attentamente il contesto fornito, identificando le informazioni pertinenti alla domanda: "${b}".
-2. Estrai i concetti chiave e formula inferenze ragionevoli basate sulle informazioni disponibili.
-3. Inizia la risposta con una breve introduzione che presenta l'argomento e il contesto.
-4. Procedi con un'analisi dettagliata delle informazioni rilevanti trovate nel contesto.
-5. Concludi con una sintesi che riassume i punti chiave e fornisce una conclusione generale.
-6. Se richiesto, cita le fonti facendo riferimento al "documento fornito" per il contesto dato, distinguendolo chiaramente da eventuali altre fonti citate all'interno del contesto stesso.
-7. Mantieni uno stile di scrittura fluido durante tutta la risposta.
-8. Assicurati che la risposta sia completa e risponda direttamente alla domanda posta.
-
-CONTESTO:
-<<<INIZIO_CONTESTO>>>
-${a}
-<<<FINE_CONTESTO>>>
-
-DOMANDA: ${b}
-
-OUTPUT_FORMAT: Fornisci la risposta in testo semplice e lineare suddiviso in paragrafi.
-
-RESPONSE:
-`}function promptThread(a,b,c){return`
-SYSTEM: Sei un assistente AI versatile progettato per gestire conversazioni dinamiche e adattarti a varie richieste. Rispondi sempre in italiano.
-
-TASK: Elabora la risposta alla richiesta "${c}" sulla base del contesto fornito e della conversazione.
-
-INSTRUCTIONS:
-1. Analizza attentamente il contesto, la conversazione precedente e la richiesta: "${c}".
-2. Interpreta l'intento dell'utente senza limitarti a categorie predefinite.
-3. Adatta la tua risposta in base all'intento percepito, sia esso una domanda, una richiesta di azione, un'istruzione specifica o altro.
-4. Mantieni una stretta coerenza con il contesto della conversazione.
-5. Basa la tua risposta sulle informazioni fornite nel contesto e nella conversazione.
-6. Evita divagazioni o argomentazioni non direttamente pertinenti alla richiesta o al contesto.
-7. Fai riferimento a informazioni precedenti quando sono pertinenti, citando specificamente la fonte.
-8. Se l'intento non \u00e8 chiaro, chiedi gentilmente chiarimenti invece di fare supposizioni.
-9. Sii flessibile: se la richiesta implica un'azione specifica, adattati di conseguenza.
-10. Se \u00e8 necessario integrare con conoscenze generali, specifica chiaramente quando lo stai facendo.
-
-CONTESTO:
-<<<BEGIN_CONTESTO>>>
-${a}
-<<<END_CONTESTO>>>
-
-<<<INIZIO_CONVERSAZIONE>>>
-${b}
-<<<FINE_CONVERSAZIONE>>>
-
-RICHIESTA: ${c}
-
-OUTPUT_FORMAT: Fornisci la risposta in testo semplice e lineare suddiviso in paragrafi.
-
-RESPONSE:
-`}function getPayloadDoc(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:2E3,num_return_sequences:1,temperature:.4,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:3,num_beams:4,repetition_penalty:1.2,return_full_text:!1,details:!1,max_time:90,seed:42},options:{use_cache:!1,wait_for_model:!0}}}
-function getPayloadBuildContext(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:5E3,num_return_sequences:1,temperature:.7,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:4,num_beams:6,repetition_penalty:1.2,return_full_text:!1,details:!1,max_time:180,seed:42},options:{use_cache:!1,wait_for_model:!0}}}
-function getPayloadWithContext(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:4E3,num_return_sequences:1,temperature:.7,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:4,num_beams:5,repetition_penalty:1.4,return_full_text:!1,details:!1,max_time:120,seed:42},options:{use_cache:!1,wait_for_model:!0}}}
-function getPayloadThread(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:4048,num_return_sequences:1,temperature:.7,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:4,num_beams:5,repetition_penalty:1.4,return_full_text:!1,details:!1,max_time:120,seed:42},options:{use_cache:!1,wait_for_model:!0}}};function promptDoc(a,b,c){return`
-SYSTEM: Sei un assistente AI specializzato nell'analisi documentale e nell'estrazione mirata di informazioni. Rispondi esclusivamente in italiano.
-
-TASK: Analizza il testo estratto dal documento "${c}" e identifica gli elementi rilevanti per rispondere alla domanda: "${b}".
-
-INSTRUCTIONS:
-1. Analizza attentamente il testo fornito.
-2. Identifica gli elementi utili per rispondere alla domanda ("${b}").
+1. Analizza attentamente il testo fornito compreso fra i marker <<<INIZIO_TESTO>>> e <<<FINE_TESTO>>> .
+2. Identifica gli elementi utili per rispondere alla domanda:"${b}".
 3. Per ogni elemento individuato, fornisci un titolo ed una descrizione sintetica ma completa.
 4. Riporta dettagli specifici (dati, citazioni, eventi, personaggi, luoghi, ..) se corelati alla domanda.
 5. Se non ci sono informazioni rilevanti, rispondi con "NESSUNA INFORMAZIONE RILEVANTE".
@@ -252,14 +147,15 @@ RESPONSE:
 `}function getPayloadDoc(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:2E3,num_return_sequences:1,temperature:.4,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:3,num_beams:4,repetition_penalty:1.2,return_full_text:!1,details:!1,max_time:90,seed:42},options:{use_cache:!1,wait_for_model:!0}}}
 function getPayloadBuildContext(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:6E3,num_return_sequences:1,temperature:.7,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:4,num_beams:6,repetition_penalty:1.2,return_full_text:!1,details:!1,max_time:180,seed:42},options:{use_cache:!1,wait_for_model:!0}}}
 function getPayloadWithContext(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:4E3,num_return_sequences:1,temperature:.7,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:4,num_beams:5,repetition_penalty:1.4,return_full_text:!1,details:!1,max_time:120,seed:42},options:{use_cache:!1,wait_for_model:!0}}}
-function getPayloadThread(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:6048,num_return_sequences:1,temperature:.7,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:4,num_beams:5,repetition_penalty:1.4,return_full_text:!1,details:!1,max_time:120,seed:42},options:{use_cache:!1,wait_for_model:!0}}};const VERS="0.1.54 (10-11-2024)";var xlog=console.log,xerror=console.error;const cancelRequest=()=>{confirm("Confermi Cancellazione Richeista ?")&&(HfRequest.cancelRequest(),hideSpinner())},showSpinner=()=>{const a=document.getElementById("spinner");a.classList.add("show-spinner");a.addEventListener("click",cancelRequest)},hideSpinner=()=>{const a=document.getElementById("spinner");a.classList.remove("show-spinner");a.removeEventListener("click",cancelRequest)};var tm;
+function getPayloadThread(a){return{inputs:a,parameters:{task:"text2text-generation",max_new_tokens:6048,num_return_sequences:1,temperature:.7,top_p:.85,top_k:30,do_sample:!1,no_repeat_ngram_size:4,num_beams:5,repetition_penalty:1.4,return_full_text:!1,details:!1,max_time:120,seed:42},options:{use_cache:!1,wait_for_model:!0}}};const VERS="0.1.58 (02-12-2024)";var xlog=console.log,xerror=console.error;const cancelRequest=()=>{confirm("Confermi Cancellazione Richeista ?")&&(HfRequest.cancelRequest(),hideSpinner())},showSpinner=()=>{const a=document.getElementById("spinner");a.classList.add("show-spinner");a.addEventListener("click",cancelRequest)},hideSpinner=()=>{const a=document.getElementById("spinner");a.classList.remove("show-spinner");a.removeEventListener("click",cancelRequest)};var tm;
 function openApp(){setTimeout(()=>{tm=umgm();wnds.init();Menu.init();TextInput.init();TextOutput.init();Rag.init();document.querySelector(".menu-btn").checked=!1;release();showHistory()},10)}function showHistory(){const a=ThreadMgr.getThread();setOutText(a)}function release(){document.querySelector(".release").innerHTML=VERS}const op0=async function(a){a=await requestGet("./help1.html");wnds.wdiv.show(a)};function showQuery(a){wnds.wpre.show(`\n${Rag.ragQuery}`)}
 function showRagResponse(a){wnds.wpre.show(`\n${Rag.ragAnswer}`)}function showThread(a){a=ThreadMgr.getThread();wnds.wpre.show(a)}function elencoRisposte(a){a=[...Rag.answers];0==a.length&&(a=UaDb.readArray(ID_RESPONSES));0!=a.length&&(a=a.map((b,c)=>`\n[${c+1}]\n ${b.trim()}`).join("\n"),wnds.wpre.show(a))}function showContesto(a){wnds.wpre.show(`${Rag.ragContext}`)}
 function elencoDati(a){var b=UaDb.getAllIds();a=[];for(var c of b)b=UaDb.read(c).length,a.push(`${c} (${b})`);c=a.join("\n ");wnds.wpre.show(c)}const showT=a=>{wnds.wpre.show(DataMgr.docs[a])};function elencoDocs(){DataMgr.readDbDocs();DataMgr.readDbDocNames();var a=DataMgr.doc_names,b=UaJtfh();let c=0;b.append("<ul>");for(const g of a){a=b;var d=a.append,e=g,f=c++;d.call(a,`
       <li><a href="#" onCLick="showT(${f});">${f+1}.${e}</a></li>
   `)}b.append("</ul>");b=b.html();wnds.wdiv.show(`<br><br>${b}`)}function calcQuery(){DataMgr.readDbDocs();DataMgr.readDbDocNames();var a=[];let b=0,c=0;a.push("Documento   Num.Parti");a.push("==================");for(const d of DataMgr.docs){const e=DataMgr.doc_names[c];c+=1;const f=Math.ceil(d.length/MAX_PROMPT_LENGTH);b+=f;a.push(`${e}&nbsp;&nbsp;&nbsp;[${f}]`)}a.push("==================");a.push(`Totale num. Parti: ${b}`);a=a.join("\n");wnds.wpre.show(a)}
 function deleteDati(a){confirm("Confermi cancellazione dati?")&&(DataMgr.deleteJsonDati(),wnds.wdiv.close(),wnds.wpre.close(),TextOutput.clear())}function deleteSttorage(a){confirm("Confermi cancellazione documenti & dati?")&&(DataMgr.deleteJsonDati(),localStorage.clear(),wnds.wdiv.close(),wnds.wpre.close(),TextOutput.clear(),DataMgr.docs=[],DataMgr.doc_names=[])}async function help1(a){a=await requestGet("./data/help_test.html");wnds.wdiv.show(a)}
-function loadTestoEsempio(a){DataMgr.loadDoc(`data/${a}`);wnds.wdiv.close()}async function help2(a){a=await requestGet("./help2.html");wnds.wdiv.show(a)}function showPrompts(a){0!=Rag.prompts.length&&(a=Rag.prompts.map((b,c)=>`[${c+1}]${b}\n`).join("\n"),wnds.wpre.show(a))};const WndPre=a=>({w:UaWindowAdm.create(a),out:null,show(b){wnds.closeAll();b=`
+function loadTestoEsempio(a){DataMgr.loadDoc(`data/${a}`);wnds.wdiv.close()}async function help2(a){a=await requestGet("./help2.html");wnds.wdiv.show(a)}function getTheme(){const a=localStorage.getItem("theme");a&&"dark"==a&&setDark()}function setLight(){document.documentElement.classList.toggle("invert");document.body.classList.remove("theme-dark");document.body.classList.add("theme-light");localStorage.setItem("theme","ligth")}
+function setDark(){document.documentElement.classList.toggle("invert");document.body.classList.remove("theme-light");document.body.classList.add("theme-dark");localStorage.setItem("theme","dark")}function showPrompts(a){0!=Rag.prompts.length&&(a=Rag.prompts.map((b,c)=>`[${c+1}]${b}\n`).join("\n"),wnds.wpre.show(a))};const WndPre=a=>({w:UaWindowAdm.create(a),out:null,show(b){wnds.closeAll();b=`
 <div class="window-text">
 <div class="btn-wrapper">
 <button class="btn-copy" title="Copia">
@@ -287,9 +183,9 @@ function loadTestoEsempio(a){DataMgr.loadDoc(`data/${a}`);wnds.wdiv.close()}asyn
 closeAll(){UaWindowAdm.close("id_w0");UaWindowAdm.close("id_w1");UaWindowAdm.close("id_out")}},Menu={init(){const a=document.querySelector("#id-menu-btn");a.addEventListener("change",()=>{document.querySelector("body").classList.toggle("menu-open",a.checked)});const b=document.getElementById("id_log");UaLog.callHide=()=>{b.classList.contains("active")&&b.classList.remove("active")};UaLog.callShow=()=>{b.classList.contains("active")||b.classList.add("active")};UaLog.setXY(54,13).setZ(111).new();UaLog.log_show("")},
 close(){const a=document.querySelector("#menu-toggle");document.querySelector("body").classList.remove("menu-open",a.checked);document.querySelector(".menu-btn").checked=!1},async help(){const a=await requestGet("./help0.html");wnds.wdiv.show(a)},upload(){RagUpload.open()},uploadDir(){RagUpload.openDir()},async load(){alert("load")},log(){UaLog.toggle()}},setOutText=a=>{const b=document.querySelector("#id-text-out .pre-text");b.textContent=a;b.scrollTop=b.scrollHeight},TextInput={wnd:null,init(){this.inp=
 document.querySelector(".text-input");document.addEventListener("keydown",a=>{document.activeElement!==this.inp&&("F1 F2 F3 F4 F5 F6 F7 F8 F9 F10 F11 F12 Control Alt Shift Meta CapsLock Escape PrintScreen ScrollLock Pause Insert Delete Home End PageUp PageDown ArrowLeft ArrowRight ArrowUp ArrowDown".split(" ").includes(a.key)||a.ctrlKey||a.metaKey||a.preventDefault())});document.querySelector(".clear-button").addEventListener("click",()=>{this.inp.value="";this.inp.focus()});this.inp.addEventListener("keydown",
-a=>this.handleEnter(a));document.querySelector(".send-input").addEventListener("click",()=>this.send());document.querySelector(".send2-input").addEventListener("click",()=>this.send2());document.querySelector(".clear-input").addEventListener("click",()=>this.clear())},handleEnter(a){"Enter"===a.key&&!a.shiftKey&&Rag.returnOk()&&(a.preventDefault(),this.send2())},async send(){if(this.inp.value){if(Rag.ragContext&&!confirm("Vuoi iniziare una nuova elabrazione ?"))return"";showSpinner();setOutText("");
-var a=this.inp.value.trim();try{let b=await Rag.requestDocsRAG(a);b=cleanOut(b);setOutText(b);this.inp.value="";UaLog.close()}catch(b){a=`send\n${b}`,console.error(a),alert(a),setOutText(a)}hideSpinner()}else alert("Ricorda di scrivere la Query  ")},async send2(){if(this.inp.value){showSpinner();ThreadMgr.isFirst()&&setOutText("");var a=this.inp.value.trim();try{let b=await Rag.requestContext(a);if(""==b){hideSpinner();return}b=cleanOut(b);setOutText(b);this.inp.value=""}catch(b){a=`send2\n${b}`,
-console.error(a),alert(a),setOutText(a)}hideSpinner()}else alert("Ricorda di scrivere la Query  ")},clear(){confirm("Confermi cancellazione conversazione? ")&&(this.inp.value="",setOutText(""),ThreadMgr.init())}};
+a=>this.handleEnter(a));document.querySelector(".send-input").addEventListener("click",()=>this.send());document.querySelector(".send2-input").addEventListener("click",()=>this.send2());document.querySelector(".clear-input").addEventListener("click",()=>this.clear())},handleEnter(a){"Enter"!==a.key||a.shiftKey||(a.preventDefault(),this.send2())},async send(){if(this.inp.value){if(Rag.ragContext&&!confirm("Vuoi iniziare una nuova elabrazione ?"))return"";showSpinner();setOutText("");var a=this.inp.value.trim();
+try{let b=await Rag.requestDocsRAG(a);b=cleanOut(b);setOutText(b);this.inp.value="";UaLog.close()}catch(b){a=`send\n${b}`,console.error(a),alert(a),setOutText(a)}hideSpinner()}else alert("Ricorda di scrivere la Query  ")},async send2(){if(this.inp.value){showSpinner();ThreadMgr.isFirst()&&setOutText("");var a=this.inp.value.trim();try{let b=await Rag.requestContext(a);if(""==b){hideSpinner();return}b=cleanOut(b);setOutText(b);this.inp.value=""}catch(b){a=`send2\n${b}`,console.error(a),alert(a),setOutText(a)}hideSpinner()}else alert("Ricorda di scrivere la Query  ")},
+clear(){confirm("Confermi cancellazione conversazione? ")&&(this.inp.value="",setOutText(""),ThreadMgr.init())}};
 TextOutput={init(){this.copyBtn=document.querySelector(".copy-output");this.copyBtn.addEventListener("click",()=>this.copy());document.querySelector(".clear-output").addEventListener("click",()=>this.clear());document.querySelector(".wnd-output").addEventListener("click",()=>this.openWnd())},openWnd(){const a=document.querySelector("#id-text-out .pre-text").textContent;wnds.wout.show(a)},async copy(){const a=document.querySelector("#id-text-out .pre-text"),b=a.textContent;if(!(2>b.trim().length)){a.classList.add("copied");
 this.copyBtn.classList.add("copied");try{await navigator.clipboard.writeText(b)}catch(c){console.error("Errore  ",c)}setTimeout(()=>{this.copyBtn.classList.remove("copied");a.classList.remove("copied")},5E3)}},clear(){document.querySelector("#id-text-out .pre-text").textContent=""}};const RagUpload={open(){const a=UaWindowAdm.create("id_upload");a.drag();a.setZ(12);a.vw_vh().setXY(16.5,10,-1);a.setHtml('\n      <div class="window-text">\n        <div class="btn-wrapper">\n          <button class="btn-close" title="chiudi" onclick="UaWindowAdm.closeThis(this)">X</button>\n        </div>     \n        <div class="upload">     \n          <h4>Upload file Text / PDF</h4>    \n          <form id="uploadForm">\n              <input class="file" type="file" id="id_fileupload" >   \n              <button type="button" onclick="RagUpload.upload();">Upload and Convert</button>\n          </form>\n          <div id="result" class="result"></div>\n        </div>\n      </div>\n    ');
 a.show()},async upload(){const a=document.getElementById("id_fileupload").files[0];if(a){var b=a.name;if(DataMgr.doc_names.includes(b))alert("Il file \u00e8 gi\u00e0 in archivio");else{var c=document.getElementById("result"),d=a.name.split(".").pop().toLowerCase();showSpinner();try{let e;if("pdf"===d){const f=new PdfHandler;await f.loadPdfJs();e=await f.extractTextFromPDF(a);f.cleanup()}else if("txt"===d)e=await readTextFile(a);else{alert("Formato file non supportato.");return}DataMgr.addDoc(b,e);

static/less/ragrqs.less

@@ -100,6 +100,34 @@ body {
   display: flex;
 }
 ///////////////
+
+// theme-dark {
+//   .btn-light {
+//     display: inline-block !important;
+//   }
+// }
+// .theme-light {
+//   .btn-dark {
+//     display: inline-block !important;
+//   }
+// }
+
+
+// .invert {
+//   filter: invert(100%);
+//   background-color: white;
+// }
+
+// .invert img,
+// .invert video,
+// .invert iframe {
+//   filter: invert(100%);
+// }
+
+
+
+
+/////////////////
 .upload {
   @primary-color: darken(@color2, 25%);
   @background-color: #121212;

static/ragrqs.html

@@ -131,5 +131,9 @@
 
 </html>
 <script>
-  openApp();
+  window.addEventListener('load', () => {
+    console.log("Tutti i file esterni (CSS, JavaScript, immagini) sono stati caricati");
+    openApp();
+  });
+
 </script>

static/ragrqs_.html

@@ -4,14 +4,14 @@
   <head>
     <meta charset="utf-8" />
     <meta name="viewport" content="width=device-width, initial-scale=1.0" />
-    <meta name="description" content="Author:M.Materni" />
+    <meta name="description" content="Author:Giuseppe Materni" />
     <title>RagRqs</title>
 
     <link rel="stylesheet" href="less/normalize.css" />
     <link rel="stylesheet/less" href="less/ragrqs.less" />
     <link rel="stylesheet/less" href="less/ualog3.less" />
     <script src="less/less.js"></script>
-    
+
     <script src="javascript/uadrag.js"></script>
     <script src="javascript/uawindow.js"></script>
     <script src="javascript/uajtfh.js"></script>
@@ -142,5 +142,17 @@
 
 </html>
 <script>
-  openApp();
+  // document.addEventListener("DOMContentLoaded", function () {
+  //   console.log("DOM completamente caricato e analizzato");
+  //   window.addEventListener("load", function () {
+  //     console.log("Tutti i file esterni (CSS, JavaScript, immagini) sono stati caricati");
+  //     openApp();
+  //   });
+  // });
+
+  window.addEventListener('load', () => {
+    console.log("Tutti i file esterni (CSS, JavaScript, immagini) sono stati caricati");
+    openApp();
+  });
+
 </script>