Refactoring

.gitignore

@@ -1,6 +1,2 @@
-db/rag_app/
-venv/
-__pycache__/
-.vscode/
-.gradio/
-.env
+git-commit-push.bat
+

README.md

@@ -9,6 +9,7 @@ app_file: app.py
 pinned: false
 license: cc0-1.0
 short_description: RAG app with minimal depencies
+python_version: 3.11
 ---
 
 Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

app.py

@@ -1,72 +1,133 @@
 from pathlib import Path
 import gradio as gr
 from src.rag import Rag
-from src.amodel import ModelType
+from src.model_huggingface import HuggingFaceModel
+
+from src.amodel import AModel
+AModel.load_env_variables()
 
 STORE_DIR = "./db/rag_app" # Le répertoire de la base
 # STORE_DIR = None # Store éphémère
 MAX_DOCS = 6 # Le nombre max de documents dans la base
 
-def main():
-    # UI
-    with gr.Blocks() as demo:
-        def upload_file(file_path):
-            name:str = Path(file_path).name
-            names  = rag.emb_store.get_collection_names()
-            count = len(names)
-            if name in names:
-                rag.delete_collection(name)            
-            if count >= MAX_DOCS:
-                rag.delete_collection(names[0])
-            rag.add_pdf_to_store(file_name=file_path, collection_name=name)
-            return name
+# global State https://www.gradio.app/guides/state-in-blocks
+rag:Rag = Rag(
+    HuggingFaceModel("meta-llama/Meta-Llama-3-8B-Instruct", None, 0),
+    HuggingFaceModel(None, "sentence-transformers/all-MiniLM-l6-v2", 0),
+    STORE_DIR
+)
+rag.reset_store() # Reset de la base à chaque démarrage du serveur
+print("rag created, store reseted")
 
-        def ask_rag(question:str, col_name:str):
-            if col_name == "Aucun fichier":
-                return "Aucun pdf actif, veuillez en uploader un !"
-            if question.strip() == "":
-                return "Veuillez poser une question."
-            names  = rag.emb_store.get_collection_names()
-            if not col_name in names:
-                return "'{name}' n'est plus sur le serveur, veuillez le recharger".format(name=col_name)
-            prompt, resp, sources, ids = rag.ask_rag(question, col_name)
-            return resp
+# UI
+with gr.Blocks(title="RAGnar", 
+            #    theme="Yntec/HaleyCH_Theme_Orange_Green",
+               fill_height=True,
+               analytics_enabled=False,
+               css="footer {visibility: hidden}",
+               ) as demo:
+    def upload_file(file_path):
+        name:str = Path(file_path).name
+        names  = rag.emb_store.get_collection_names()
+        count = len(names)
+        if name in names:
+            rag.delete_collection(name) 
+            print("collection", name, "deleted because already exists") 
+        names  = rag.emb_store.get_collection_names()          
+        if count >= MAX_DOCS:
+            print("collection", names[0], "deleted because too many collections") 
+            rag.delete_collection(names[0])
+        rag.add_pdf_to_store(file_name=file_path, collection_name=name)
+        return gr.Dropdown(
+                choices=rag.emb_store.get_collection_names(),
+                value=rag.emb_store.collections[-1].name,
+                show_label=False,
+                container=False,
+                interactive=True
+            ) 
 
-        def on_temperature_change(temp):
-            rag.set_temperature(temp)       
-            
-        # global State https://www.gradio.app/guides/state-in-blocks
-        rag:Rag = Rag(ModelType.MTHUGGINGFACE, store_dir=STORE_DIR) # Création du rag
-        # rag.reset_store() # Reset de la base à chaque démarrage du serveur
-        with gr.Tab("RAG"):
-            gr.Image("./files/drane.jpg", height=100, show_download_button=False, 
-                     show_fullscreen_button=False, show_label=False, show_share_button=False,
-                     interactive=False, container=False)
-            # Le label qui affiche le nom du pdf courant
-            pdf_name = gr.Markdown("Aucun fichier")
+    def ask_rag(question:str, col_name:str):
+        if col_name == "Aucun fichier":
+            return "Aucun pdf actif, veuillez en uploader un !"
+        if question.strip() == "":
+            return "Veuillez poser une question."
+        names  = rag.emb_store.get_collection_names()
+        if not col_name in names:
+            return "'{name}' n'est plus sur le serveur, veuillez le recharger".format(name=col_name)
+        prompt, resp, sources, ids = rag.ask_rag(question, col_name)
+        return resp
+
+    def on_temperature_change(temp):
+        rag.set_temperature(temp) 
+
+    def on_refresh():
+        print("on_refresh")
+        choices=rag.emb_store.get_collection_names() if len(rag.emb_store.collections) > 0 else ["Aucun fichier"]
+        value = rag.emb_store.collections[-1].name if len(rag.emb_store.collections) > 0 else "Aucun fichier"
+        return gr.Dropdown(
+                choices=choices,
+                value=value,
+                show_label=False,
+                container=False,
+                interactive=True
+            )     
+        
+
+    with gr.Row():
+        gr.Image("./files/drane.png",  show_download_button=False, 
+                show_fullscreen_button=False, show_label=False, show_share_button=False,
+                interactive=False, container=False)
+        # https://www.svgrepo.com/svg/483648/viking-face
+        gr.Image("./files/viking.png",  show_download_button=False, 
+                show_fullscreen_button=False, show_label=False, show_share_button=False,
+                interactive=False, container=False)       
+    with gr.Tab("RAG naïf"):
+        with gr.Row():
+            # Le button qui permet d'updater le combo des collections
+            refresh = gr.Button("Refresh", scale=1)
+            # Le combo qui affiche toutes les collections du store
+            choices=rag.emb_store.get_collection_names() if len(rag.emb_store.collections) > 0 else ["Aucun fichier"]
+            value = rag.emb_store.collections[-1].name if len(rag.emb_store.collections) > 0 else "Aucun fichier"
+            cols = gr.Dropdown(
+                choices=choices,
+                value=value,
+                show_label=False,
+                container=False,
+                interactive=True,
+                scale=10
+            )  
             # Le button qui permet d'uploader un pdf
-            upload_button = gr.UploadButton("Clique pour ajouter un pdf", file_types=[".pdf"], file_count="single")
-            # La zone où on pose une question au RAG
-            ask_input = gr.Text(label="Pose une question à ton pdf")
-            # La réponse du RAG (Markdown pour afficher les formules .tex)
-            rag_output = gr.Markdown(label="Réponse")
-        with gr.Tab("Réglages"):
-            gr.Markdown("## Modèles:")
-            gr.Markdown("- " + rag.get_llm_name())
-            gr.Markdown("- " + rag.get_feature_name())
-            temperature_slider = gr.Slider(minimum=0,
-                        maximum=1.0,
-                        value=0.0,
-                        step=0.1,
-                        label="Température")
+            upload_button = gr.UploadButton(
+                "Clique pour ajouter un pdf", 
+                file_types=[".pdf"], 
+                file_count="single",
+                scale=10)
             
-        # Réponses aux évènements
-        upload_button.upload(fn=upload_file, inputs=upload_button, outputs=[pdf_name], show_progress="full")
-        ask_input.submit(fn=ask_rag, inputs=[ask_input, pdf_name], outputs=rag_output, show_progress="full")
-        temperature_slider.change(fn=on_temperature_change, inputs=temperature_slider)
-    
-    demo.launch()
+        # La zone où on pose une question au RAG
+        ask_input = gr.Text(placeholder="Pose une question à ton pdf", show_label=False, container=False)
+        # La réponse du RAG (Markdown pour afficher les formules .tex)
+        rag_output = gr.Textbox("", show_copy_button=False,
+                    show_label=False,
+                    container=False,
+                    max_lines=15)
+        
+    with gr.Tab("Réglages"):
+        gr.Markdown("## Modèles:")
+        gr.Markdown("- " + rag.get_llm_name())
+        gr.Markdown("- " + rag.get_feature_name())
+        temperature_slider = gr.Slider(minimum=0,
+                    maximum=1.0,
+                    value=0.0,
+                    step=0.1,
+                    label="Température")
+        
+    # Réponses aux évènements
+    refresh.click(fn=on_refresh, inputs=[], outputs=[cols])
+    upload_button.upload(fn=upload_file, inputs=upload_button, outputs=[cols], show_progress=True)
+    ask_input.submit(fn=ask_rag, inputs=[ask_input, cols], outputs=rag_output, show_progress=True)
+    temperature_slider.change(fn=on_temperature_change, inputs=temperature_slider)
+    demo.load(fn=on_refresh, inputs=[], outputs=[cols])
 
 
 if __name__ == "__main__":
-    main()
+    demo.queue().launch()

db/readme.txt

@@ -1 +0,0 @@
-Chaque collection dans un répertoire

git-commit-push.bat

@@ -2,3 +2,4 @@ git add .
 git commit -a
 git push
 PAUSE
+

requirements.txt

@@ -1,2 +1,4 @@
+gradio
+numpy
 pypdf
-huggingface-hub
+huggingface_hub

src/amodel.py

@@ -1,21 +1,5 @@
 from abc import ABC, abstractmethod
-from enum import Enum
-
-class ModelType(Enum):
-    ''' Les différentes technos de models '''
-    MTOPENAI = 1
-    MTOLLAMA = 2
-    MTHUGGINGFACE = 3
-    MTMISTRAL = 4
-
-    @classmethod
-    def to_str(self, mt:int)->str:
-        match mt:
-            case 1: return "MTOPENAI"
-            case 2: return "MTOLLAMA"
-            case 3: return "MTHUGGINGFACE"
-            case 4: return "MTMISTRAL"
-            case _: return "UNKNOWN"
+import os
 
 class AModel(ABC):
     '''
@@ -27,6 +11,21 @@ class AModel(ABC):
             ...
     '''
 
+    @classmethod
+    def load_env_variables(cls):
+        ''' 
+            Gestion des tokens par variables d'environnement
+            On utilise dotenv, sauf si la platforme est un space HuggingFace
+            Dans ce cas les variables d'env sont déjà chargées
+        '''
+        # HF_ACTIVE est une variable d'environnement créée dans les spaces HuggingFace
+        # Elle sert à savoir que l'appli tourne dans un space
+        if not os.getenv("HF_ACTIVE"): # Utilisation ailleurs que dans un space
+            # load_dotenv ne passe pas dans un space HuggingFace
+            from dotenv import load_dotenv
+            load_dotenv()
+
+
     @abstractmethod
     def ask_llm(self, question:str)->str:
         pass

src/astore.py

@@ -1,39 +0,0 @@
-from abc import ABC, abstractmethod
-
-
-class AStore(ABC):
-    '''
-        Classe abstraite de base pour tous les stores :
-            Chroma
-            Perso
-            ...
-    '''
-    
-    @abstractmethod
-    def reset(self)->None:
-        pass
-        
-    @abstractmethod
-    def print_infos(self)->None:
-        pass
-    
-    @abstractmethod    
-    def add_to_collection(self, collection_name:str, source:str, vectors:list[list[float]], chunks:list[str])->None:
-        pass
-    
-    @abstractmethod  
-    def delete_collection(self, name:str)->None:
-        pass
-    
-    @abstractmethod
-    def get_similar_vector(self, vector:list[float], collection_name:str)->list[float]:
-        pass
-        
-    @abstractmethod
-    def get_similar_chunk(self, query_vector:list[float], collection_name:str)->tuple[str, str]:
-        pass
-        
-    @abstractmethod
-    def get_similar_chunks(self, query_vector:list[float], count:int, collection_name:str):
-        pass
-        

src/model_huggingface.py

@@ -10,14 +10,7 @@ class HuggingFaceModel(AModel):
         self.llm_name:str = llm_name
         self.feature_name:str = feature_name
         self.temperature = temperature
-        # La variable HF_ACTIVE a été créée dans les settings de l'app sur HuggingFace
-        if (os.getenv("HF_ACTIVE")): # Lancement depuis l'app sur HuggingFace
-            api_token = os.getenv("HF_TOKEN") 
-        else: # Lancement depuis mon ordi
-            # print("Launch Rag in HuggingFace local")
-            from dotenv import load_dotenv # Trick: ne passe pas dans une app sur HuggingFace
-            load_dotenv()
-            api_token = os.getenv("HUGGINGFACEHUB_API_TOKEN")
+        api_token = os.getenv("HUGGINGFACEHUB_API_TOKEN")
         try:
             self.model = InferenceClient(api_key=api_token) 
         except:
@@ -29,7 +22,7 @@ class HuggingFaceModel(AModel):
             resp = self.model.chat.completions.create(
                 model=self.llm_name,                     
                 messages=messages, 
-                max_tokens=500,
+                max_tokens=2048,
                 temperature=self.temperature,
                 # stream=True
             )

src/rag.py

@@ -1,14 +1,14 @@
-import sys
-
 from pypdf import PdfReader
 from .chunker import Chunker
-from .amodel import ModelType
-from .model_huggingface import HuggingFaceModel
+from .amodel import AModel
 from .store import Store
 
+CHUNK_CHAR_COUNT = 1000
+CHUNK_OVERLAP = 200
 
 class Rag:
     '''
+        RAG naïf
         Classe qui s'occupe de toute la chaine du RAG.
         Elle permet :
             d'interroger un llm directement (sans RAG) avec ask_llm()
@@ -29,39 +29,36 @@ class Rag:
         Question : {question}
     """
 
-    def __init__(self, model_type:ModelType, store_dir:str) -> None:
-        ''' 
+    def __init__(self, llm:AModel, emb:AModel, store_dir:str)->None:
+        '''
             Constructeur du Rag
             Args: 
-                model_type: la techno utilisée
-                store_dir: le répertoire de persistance de la base de données ou None
+                llm: le model de langage
+                emb: le model d'embeddings
+                store_dir: le répertoire de persistance de la base de données ou None pour éphémère
             Exception:
-                Si le model ne peut pas être créé
-                Si le type de model est inconnu
+                Si le store ne peut pas se créer (répertoire inaccessible par ex.)
         '''
-        self.model_type = model_type
+        self.llm:AModel = llm
+        self.emb:AModel = emb
+        self.store_dir:str = store_dir
         try:
-            match model_type:
-                case ModelType.MTHUGGINGFACE:
-                    self.model = HuggingFaceModel("meta-llama/Meta-Llama-3-8B-Instruct", "sentence-transformers/all-MiniLM-l6-v2", 0)
-                case _:
-                    raise Exception("Rag.__init__: Unknown model type: {mt} : {v}".format(mt=ModelType.to_str(model_type), v=model_type))
             self.emb_store = Store(store_dir) # persistant
             # self.emb_store = Store(None) # éphémère
-        except Exception as e:
+        except:
             raise
 
     def get_llm_name(self):
-        return self.model.get_llm_name()
+        return self.llm.get_llm_name()
     
     def get_feature_name(self):
-        return self.model.get_feature_name()
+        return self.emb.get_feature_name()
     
     def get_temperature(self):
-        return self.model.get_temperature()
+        return self.llm.get_temperature()
     
     def set_temperature(self, temperature:float):
-        self.model.set_temperature(temperature)
+        self.llm.set_temperature(temperature)
 
     def reset_store(self):
         self.emb_store.reset()
@@ -71,7 +68,7 @@ class Rag:
 
     def create_vectors(self, chunks:list[str])->list[list[float]]:
         '''
-            Renvoie les vecteurs correspondant à 'chunks', calculés par 'emb_model'
+            Renvoie les vecteurs correspondant à 'chunks', calculés par 'emb'
             Args:
                 chunks: les extraits de texte à calculer
             Return:
@@ -80,7 +77,7 @@ class Rag:
         vectors:list = []
         tokens:int = 0
         try:
-            vectors:list[list[float]] = self.model.create_vectors(chunks) # batch si le model le permet
+            vectors:list[list[float]] = self.emb.create_vectors(chunks) # batch si le model le permet
             return vectors
         except:
             raise
@@ -101,17 +98,8 @@ class Rag:
             Return:
                 La liste des chunks
         '''
-        # splitter = RecursiveCharacterTextSplitter(
-        #     # separator="\n",
-        #     chunk_size=1000,
-        #     chunk_overlap=200,
-        #     length_function=len,
-        #     is_separator_regex=False
-        # )
-        # chunks = splitter.split_text(text)
-        # print("get_chunks: " + str(len(chunks)))
         chunker = Chunker()
-        chunks = chunker.split_basic(text=text, char_count=1000, overlap=200)
+        chunks = chunker.split_basic(text=text, char_count=CHUNK_CHAR_COUNT, overlap=CHUNK_OVERLAP)
         return chunks
 
     def add_pdf_to_store(self, file_name:str, collection_name:str)->None:
@@ -157,14 +145,14 @@ class Rag:
 
     def ask_llm(self, question:str)->str:
         '''
-            Pose une question au llm_model, attend sa réponse et la renvoie.
+            Pose une question au llm, attend sa réponse et la renvoie.
             Args:
                 question: La question qu'on veut lui poser
             Returns:
-                La réponse du llm_model
+                La réponse du llm
         '''
         try:
-            return self.model.ask_llm(question=question)
+            return self.llm.ask_llm(question=question)
         except:
             return "Error while comminicating with model !"
 
@@ -175,8 +163,8 @@ class Rag:
                 question: La question qu'on veut lui poser
                 collection_name: le nom de la collection que l'on veut interroger
             Returns:
-                Le prompt effectivement donné au llm_model
-                La réponse du llm_model
+                Le prompt effectivement donné au llm
+                La réponse du llm
                 Les sources du RAG utilisées
                 Les ids des documents du RAG
         '''
@@ -188,7 +176,7 @@ class Rag:
             return "", "Error: {name} is no more in the database !".format(name=collection_name), [], []
         try:
             # Transformer la 'question' en vecteur avec emb_model
-            query_vector:list[float] = self.model.create_vector(question) 
+            query_vector:list[float] = self.emb.create_vector(question) 
             # Récupérer les chunks du store similaires à la question
             chunks, sources, ids = self.emb_store.get_similar_chunks( 
                 query_vector=query_vector, 
@@ -207,42 +195,7 @@ class Rag:
         except:
             return "", "Error with communicating with model !", [], []
         
-def test_cours_TSTL()->None:
-    # Test placé ici pendant la mise au point
-    STORE_DIR = "./db/chroma_vectors"
-    # rag = Rag(ModelType.MTOPENAI, store_dir=STORE_DIR)
-    rag = Rag(ModelType.MTHUGGINGFACE, store_dir=STORE_DIR)
-    # rag = Rag(llm_type=ModelType.MTHUGGINGFACE, emb_type=ModelType.MTHUGGINGFACE, store_dir=STORE_DIR)
-    
-    rag.reset_store()
-    rag.add_pdf_to_store("chap-1-Statique.pdf", "T_SPCL")
-    # rag.add_pdf_to_store("chap-2-Regulation.pdf", "T_SPCL")
-    # rag.add_pdf_to_store("chap-3-Dynamique.pdf", "T_SPCL")
-    # rag.add_pdf_to_store("chap-4-Echangeurs.pdf", "T_SPCL")
-
-    rag.emb_store.print_infos()
-
-    prompt, resp, sources, ids = rag.ask_rag( 
-        question="Quelle est la différence entre une pression relative et une pression absolue?",
-        # question="Qu'est-ce qu'un échangeur à contre-courant?",
-        # question="Quelle est la formule de la résistance thermique? Réponds brièvement",
-        # question="Quelle est l'équation de Bernouilli avec les termes de pompe et pertes de charges? Réponds brièvement",
-        # question="Que signifie le terme de vitesse dans l'équation de Bernouilli ?",
-        # question="Transforme 1 bar en mètre de colonne d'eau",
-        # question="A quoi correspond HMT d'une pompe?",
-        collection_name="T_SPCL"
-    )
-    print(prompt)
-    print("---------------------------")
-    print(resp)
-    print("---------------------------")
-    print("sources:", sources)
-    print("ids=", ids)
-
-    # print(rag.ask_llm("Quelle est l'équation de Bernouilli avec les termes de pompe et pertes de charges? Réponds brièvement"))
-
-if __name__ == "__main__":
-    test_cours_TSTL()
+