first commit

.gitignore

@@ -0,0 +1,162 @@
+# Byte-compiled / optimized / DLL files
+__pycache__/
+*.py[cod]
+*$py.class
+
+# C extensions
+*.so
+
+# Distribution / packaging
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+share/python-wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+MANIFEST
+
+# PyInstaller
+#  Usually these files are written by a python script from a template
+#  before PyInstaller builds the exe, so as to inject date/other infos into it.
+*.manifest
+*.spec
+
+# Installer logs
+pip-log.txt
+pip-delete-this-directory.txt
+
+# Unit test / coverage reports
+htmlcov/
+.tox/
+.nox/
+.coverage
+.coverage.*
+.cache
+nosetests.xml
+coverage.xml
+*.cover
+*.py,cover
+.hypothesis/
+.pytest_cache/
+cover/
+
+# Translations
+*.mo
+*.pot
+
+# Django stuff:
+*.log
+local_settings.py
+db.sqlite3
+db.sqlite3-journal
+
+# Flask stuff:
+instance/
+.webassets-cache
+
+# Scrapy stuff:
+.scrapy
+
+# Sphinx documentation
+docs/_build/
+
+# PyBuilder
+.pybuilder/
+target/
+
+# Jupyter Notebook
+.ipynb_checkpoints
+
+# IPython
+profile_default/
+ipython_config.py
+
+# pyenv
+#   For a library or package, you might want to ignore these files since the code is
+#   intended to run in multiple environments; otherwise, check them in:
+# .python-version
+
+# pipenv
+#   According to pypa/pipenv#598, it is recommended to include Pipfile.lock in version control.
+#   However, in case of collaboration, if having platform-specific dependencies or dependencies
+#   having no cross-platform support, pipenv may install dependencies that don't work, or not
+#   install all needed dependencies.
+#Pipfile.lock
+
+# poetry
+#   Similar to Pipfile.lock, it is generally recommended to include poetry.lock in version control.
+#   This is especially recommended for binary packages to ensure reproducibility, and is more
+#   commonly ignored for libraries.
+#   https://python-poetry.org/docs/basic-usage/#commit-your-poetrylock-file-to-version-control
+#poetry.lock
+
+# pdm
+#   Similar to Pipfile.lock, it is generally recommended to include pdm.lock in version control.
+#pdm.lock
+#   pdm stores project-wide configurations in .pdm.toml, but it is recommended to not include it
+#   in version control.
+#   https://pdm.fming.dev/latest/usage/project/#working-with-version-control
+.pdm.toml
+.pdm-python
+.pdm-build/
+
+# PEP 582; used by e.g. github.com/David-OConnor/pyflow and github.com/pdm-project/pdm
+__pypackages__/
+
+# Celery stuff
+celerybeat-schedule
+celerybeat.pid
+
+# SageMath parsed files
+*.sage.py
+
+# Environments
+.env
+.venv
+env/
+venv/
+ENV/
+env.bak/
+venv.bak/
+
+# Spyder project settings
+.spyderproject
+.spyproject
+
+# Rope project settings
+.ropeproject
+
+# mkdocs documentation
+/site
+
+# mypy
+.mypy_cache/
+.dmypy.json
+dmypy.json
+
+# Pyre type checker
+.pyre/
+
+# pytype static type analyzer
+.pytype/
+
+# Cython debug symbols
+cython_debug/
+
+# PyCharm
+#  JetBrains specific template is maintained in a separate JetBrains.gitignore that can
+#  be found at https://github.com/github/gitignore/blob/main/Global/JetBrains.gitignore
+#  and can be added to the global gitignore or merged into this file.  For a more nuclear
+#  option (not recommended) you can uncomment the following to ignore the entire idea folder.
+#.idea/

app.py

@@ -0,0 +1,14 @@
+import gradio as gr
+from utils import *
+
+
+
+gradio_app = gr.Interface(
+    answer,
+    inputs= gr.Image(label="Input Image", sources=['upload', 'webcam'], type="pil"),
+    outputs= gr.Text(),
+    title="Describe things",
+)
+
+if __name__ == '__main__':
+    gradio_app.launch(share=True)

pkgs/__init__.py

@@ -0,0 +1,9 @@
+from .excecutor import LangChainExecutor
+from .quota_manager import QuotaManager
+import os
+from dotenv import load_dotenv
+
+
+
+load_dotenv()
+executor = QuotaManager(model_name='gemini-1.5-flash', api_keys= eval(os.getenv('LIST_GEMINI_API_KEY')))

pkgs/excecutor.py

@@ -0,0 +1,216 @@
+from langchain_google_genai import ChatGoogleGenerativeAI
+from langchain_core.prompts import ChatPromptTemplate
+from langchain_core.output_parsers import StrOutputParser, SimpleJsonOutputParser
+from langchain_openai import ChatOpenAI
+import re
+
+import concurrent.futures
+import copy
+import os
+
+class LangChainExecutor:
+    def __init__(self, model_name):
+        self.model_name = model_name
+        self.platform = 'gpt' if 'gpt' in model_name else 'gemini'
+        self.api_key = os.getenv("OPEN_AI_API_KEY") if self.platform == "gpt" else os.getenv("GEMINI_API_KEY")
+        if self.platform == "gpt":
+            self.default_config = {
+                "temperature": 1,
+                "max_tokens": None,
+            }
+        elif self.platform == "gemini":
+            self.default_config = {
+                "temperature": 1,
+                "top_p": 0.95,
+                "top_k": 64,
+                "max_output_tokens": 8192,
+            }
+
+    def create_model(self, model_name, cp_config):
+        # redefine by model_name
+        self.platform = 'gpt' if 'gpt' in model_name else 'gemini'
+        self.api_key = os.getenv("OPEN_AI_API_KEY") if self.platform == "gpt" else os.getenv("GEMINI_API_KEY")
+        if self.platform == "gpt":
+            self.default_config = {
+                "temperature": 1,
+                "max_tokens": None,
+            }
+        elif self.platform == "gemini":
+            self.default_config = {
+                "temperature": 1,
+                "top_p": 0.95,
+                "top_k": 64,
+                "max_output_tokens": None,
+            }
+
+        if self.platform == "gpt":
+            return ChatOpenAI(
+                model=model_name,
+                api_key=self.api_key,
+                temperature=cp_config["temperature"],
+                max_tokens=cp_config.get("max_tokens")
+            )
+        elif self.platform == "gemini":
+            return ChatGoogleGenerativeAI(
+                model=model_name,
+                google_api_key=self.api_key,
+                temperature=cp_config["temperature"],
+                top_p=cp_config.get("top_p"),
+                top_k=cp_config.get("top_k"),
+                max_output_tokens=cp_config.get("max_output_tokens")
+            )
+
+    def clean_response(self, response):
+        if response.startswith("```") and response.endswith("```"):
+            pattern = r'^(?:```json|```csv|```)\s*(.*?)\s*```$'
+            return re.sub(pattern, r'\1', response, flags=re.DOTALL).strip()
+        return response.strip()
+
+    def execute(self, model_input, user_input, model_name="", temperature=0, prefix=None, infix=None, suffix=None, json_output=False):
+        cp_config = copy.deepcopy(self.default_config)
+        cp_config["temperature"] = temperature
+        if model_name == "":
+            model_name = self.model_name
+
+        model = self.create_model(model_name, cp_config)
+
+        full_prompt_parts = []
+
+        if prefix:
+            full_prompt_parts.append(prefix)
+        if infix:
+            full_prompt_parts.append(infix)
+        full_prompt_parts.append(model_input)
+        if suffix:
+            full_prompt_parts.append(suffix)
+
+        # Kết hợp các phần thành một chuỗi duy nhất
+        full_prompt = "\n".join(full_prompt_parts)
+
+        chat_template = ChatPromptTemplate.from_messages(
+            [
+                ("system", "{full_prompt}"),
+                ("human", "{user_input}"),
+            ]
+        )
+
+        if json_output:
+            parser = SimpleJsonOutputParser()
+        else:
+            parser = StrOutputParser()
+
+        run_chain = chat_template | model | parser
+
+        map_args = {
+            "full_prompt": full_prompt,
+            "user_input": user_input,
+        }
+        response = run_chain.invoke(map_args)
+
+        if json_output == False:
+            # print('Yess')
+            response = self.clean_response(response)
+
+        # print("Nooo")
+
+        return response
+
+    def execute_with_image(self, model_input, user_input, base64_image, model_name="", temperature=0, prefix=None, infix=None, suffix=None, json_output=False):
+
+        full_prompt_parts = []
+        if prefix:
+            full_prompt_parts.append(prefix)
+        if infix:
+            full_prompt_parts.append(infix)
+        full_prompt_parts.append(model_input)
+        if suffix:
+            full_prompt_parts.append(suffix)
+
+        # Kết hợp các phần thành một chuỗi duy nhất
+        full_prompt = "\n".join(full_prompt_parts)
+
+
+        prompt = ChatPromptTemplate.from_messages(
+            [
+                ("system", "{full_prompt}\n{user_input}"),
+                (
+                    "user",
+                    [
+                        {
+                            "type": "image_url",
+                            "image_url": {"url": "data:image/jpeg;base64,{image_data}"},
+                        }
+                    ],
+                ),
+            ]
+        )
+
+        cp_config = copy.deepcopy(self.default_config)
+        cp_config["temperature"] = temperature
+        if model_name == "":
+            model_name = self.model_name
+
+        model = self.create_model(model_name, cp_config)
+
+        if json_output:
+            parser = SimpleJsonOutputParser()
+        else:
+            parser = StrOutputParser()
+
+        run_chain = prompt | model | parser
+
+        response = run_chain.invoke({
+            "image_data": base64_image,
+            "full_prompt": full_prompt,
+            "user_input": user_input
+        })
+
+        if json_output == False:
+            # print('Yess')
+            response = self.clean_response(response)
+
+        # print("Nooo")
+
+        return response
+
+    def batch_execute(self, requests):
+        """
+        Execute multiple requests in parallel for both `execute` and `execute_with_image`.
+
+        Args:
+            requests (list of dict): List of requests, each containing `model_input`, `user_input`,
+                                    and optionally `model_name`, `temperature`, and `base64_image`.
+
+        Returns:
+            list of str: List of responses for each request, mapped correctly to their input.
+        """
+        responses = [None] * len(requests)
+
+        def process_request(index, request):
+            model_input = request.get("model_input", "")
+            user_input = request.get("user_input", "")
+            prefix = request.get("prefix", None)
+            infix = request.get("infix", None)
+            suffix = request.get("suffix", None)
+            model_name = request.get("model_name", self.model_name)
+            temperature = request.get("temperature", 0)
+            base64_image = request.get("base64_image", None)
+
+            if base64_image:
+                result = self.execute_with_image(model_input, user_input, base64_image, model_name, temperature, prefix, infix, suffix)
+            else:
+                result = self.execute(model_input, user_input, model_name, temperature, prefix, infix, suffix)
+
+            responses[index] = result
+
+        with concurrent.futures.ThreadPoolExecutor() as executor:
+            futures = {executor.submit(process_request, i, request): i for i, request in enumerate(requests)}
+
+            for future in concurrent.futures.as_completed(futures):
+                index = futures[future]
+                try:
+                    future.result()
+                except Exception as exc:
+                    responses[index] = f"Exception occurred: {exc}"
+
+        return responses

pkgs/quota_manager.py

@@ -0,0 +1,139 @@
+import time
+import os
+import copy
+import concurrent.futures
+from pkgs import LangChainExecutor
+
+
+class QuotaManager(LangChainExecutor):
+    def __init__(self, model_name, api_keys):
+        """
+        Khởi tạo QuotaManager với danh sách các API key.
+
+        :param model_name: Tên của mô hình LLM.  #gpt-... pr gemini-...
+        :param api_keys: Danh sách các API key.
+        """
+        self.api_keys = api_keys
+        self.current_key_index = 0
+        self.last_used_time = time.time()
+        super().__init__(model_name)
+        self.update_api_key()
+
+    def update_api_key(self):
+        """
+        Cập nhật API key hiện tại từ danh sách.
+        """
+        self.api_key = self.api_keys[self.current_key_index]
+        os.environ["GEMINI_API_KEY"] = self.api_key
+        print(f"Đang sử dụng API key: {self.api_key}")
+
+    def rotate_api_key(self):
+        """
+        Xoay vòng sang API key tiếp theo khi API key hiện tại bị giới hạn.
+        """
+        current_time = time.time()
+
+        # Kiểm tra thời gian, nếu đã qua 60 giây kể từ lần sử dụng cuối, đặt lại chỉ số key
+        if current_time - self.last_used_time >= 60:
+            self.current_key_index = 0
+        else:
+            # Chuyển sang API key tiếp theo
+            self.current_key_index = (self.current_key_index + 1) % len(self.api_keys)
+
+        self.update_api_key()
+        self.last_used_time = current_time
+
+    def execute(self, model_input, user_input, model_name="", temperature=0, prefix=None, infix=None, suffix=None,
+                json_output=False):
+        """
+        Thực thi yêu cầu với kiểm tra và thay đổi API key nếu cần thiết.
+
+        :param model_input: Đầu vào cho mô hình.
+        :param user_input: Đầu vào từ người dùng.
+        :param model_name: Tên mô hình (tuỳ chọn).
+        :param temperature: Nhiệt độ điều chỉnh tính ngẫu nhiên của mô hình.
+        :param prefix: Chuỗi tiền tố tuỳ chọn.
+        :param infix: Chuỗi xen giữa tuỳ chọn.
+        :param suffix: Chuỗi hậu tố tuỳ chọn.
+        :param json_output: Cờ để xác định có trả về kết quả JSON hay không.
+        :return: Kết quả từ mô hình.
+        """
+        try:
+            return super().execute(model_input, user_input, model_name, temperature, prefix, infix, suffix, json_output)
+        except Exception as e:
+            if "Resource has been exhausted" in str(e):
+                print("Lỗi:", e)
+                print(f"API key bị giới hạn: {self.api_key}. Đang chuyển sang API key khác...")
+                self.rotate_api_key()
+                return super().execute(model_input, user_input, model_name, temperature, prefix, infix, suffix,
+                                       json_output)
+            else:
+                print("Lỗi:", e)
+                raise e
+
+    def execute_with_image(self, model_input, user_input, base64_image, model_name="", temperature=0, prefix=None,
+                           infix=None, suffix=None, json_output=False):
+        """
+        Thực thi yêu cầu với ảnh, kiểm tra và thay đổi API key nếu cần thiết.
+
+        :param model_input: Đầu vào cho mô hình.
+        :param user_input: Đầu vào từ người dùng.
+        :param base64_image: Ảnh được mã hóa base64.
+        :param model_name: Tên mô hình (tuỳ chọn).
+        :param temperature: Nhiệt độ điều chỉnh tính ngẫu nhiên của mô hình.
+        :param prefix: Chuỗi tiền tố tuỳ chọn.
+        :param infix: Chuỗi xen giữa tuỳ chọn.
+        :param suffix: Chuỗi hậu tố tuỳ chọn.
+        :param json_output: Cờ để xác định có trả về kết quả JSON hay không.
+        :return: Kết quả từ mô hình.
+        """
+        try:
+            return super().execute_with_image(model_input, user_input, base64_image, model_name, temperature, prefix,
+                                              infix, suffix, json_output)
+        except Exception as e:
+            if "Resource has been exhausted" in str(e):
+                print(f"API key bị giới hạn: {self.api_key}. Đang chuyển sang API key khác...")
+                self.rotate_api_key()
+                return super().execute_with_image(model_input, user_input, base64_image, model_name, temperature,
+                                                  prefix, infix, suffix, json_output)
+            else:
+                raise e
+
+    def batch_execute(self, requests):
+        """
+        Thực thi nhiều yêu cầu song song với việc kiểm tra và thay đổi API key nếu cần thiết.
+
+        :param requests: Danh sách các yêu cầu.
+        :return: Danh sách các phản hồi, tương ứng với từng yêu cầu.
+        """
+        responses = [None] * len(requests)
+
+        def process_request(index, request):
+            model_input = request.get("model_input", "")
+            user_input = request.get("user_input", "")
+            prefix = request.get("prefix", None)
+            infix = request.get("infix", None)
+            suffix = request.get("suffix", None)
+            model_name = request.get("model_name", self.model_name)
+            temperature = request.get("temperature", 0)
+            base64_image = request.get("base64_image", None)
+
+            if base64_image:
+                result = self.execute_with_image(model_input, user_input, base64_image, model_name, temperature, prefix,
+                                                 infix, suffix)
+            else:
+                result = self.execute(model_input, user_input, model_name, temperature, prefix, infix, suffix)
+
+            responses[index] = result
+
+        with concurrent.futures.ThreadPoolExecutor() as executor:
+            futures = {executor.submit(process_request, i, request): i for i, request in enumerate(requests)}
+
+            for future in concurrent.futures.as_completed(futures):
+                index = futures[future]
+                try:
+                    future.result()
+                except Exception as exc:
+                    responses[index] = f"Exception occurred: {exc}"
+
+        return responses

utils.py

@@ -0,0 +1,37 @@
+from pkgs import QuotaManager, executor
+import os
+import base64
+from PIL import Image
+import io
+
+os.environ['PROMPT'] = '''
+Nhận vào một hình ảnh từ người dùng. Hãy phân tích và cung cấp một mô tả chi tiết về hình ảnh này giống như một mục từ trong quyển bách khoa toàn thư. Mô tả bao gồm các thành phần sau:
+
+1.Tên đồ vật trong ảnh:
+- Liệt kê tất cả các đồ vật, sinh vật, hoặc yếu tố chính xuất hiện trong hình ảnh. Mỗi đối tượng phải được đặt tên rõ ràng và cụ thể.
+2. Mô tả chi tiết đồ vật:
+- Mô tả kỹ lưỡng từng đồ vật, sinh vật hoặc yếu tố đã được liệt kê. Bao gồm các thông tin về:
+    + Kích thước: Đánh giá kích thước tương đối hoặc tuyệt đối của đồ vật.
+    + Hình dáng: Mô tả hình dạng, cấu trúc, và các đặc điểm nhận dạng.
+    + Màu sắc: Cung cấp thông tin về màu sắc chính và các biến thể màu sắc nếu có.
+    + Chất liệu: Mô tả vật liệu cấu thành, nếu có thể xác định.
+    + Chức năng hoặc vai trò: Giải thích chức năng, vai trò hoặc ý nghĩa của đồ vật hoặc sinh vật trong ngữ cảnh của hình ảnh.
+3. Bối cảnh và không gian:
+- Mô tả không gian chung của hình ảnh, bao gồm môi trường xung quanh và cách các đồ vật, sinh vật tương tác hoặc được sắp đặt trong không gian này.
+- Nếu hình ảnh liên quan đến một địa điểm, thời gian, hoặc sự kiện cụ thể, hãy mô tả ngắn gọn về ngữ cảnh đó.
+4. Liên hệ văn hóa hoặc lịch sử:
+- Nếu các đồ vật hoặc sinh vật có liên hệ đến các khái niệm, sự kiện, hoặc hiện tượng văn hóa, lịch sử nào, hãy cung cấp một đoạn mô tả ngắn gọn về liên hệ đó.
+5. Tầm quan trọng hoặc ứng dụng:
+- Nêu rõ tầm quan trọng của các đồ vật hoặc sinh vật trong hình ảnh. Điều này có thể bao gồm ý nghĩa văn hóa, giá trị thực tiễn, hoặc ứng dụng cụ thể trong đời sống hoặc trong nghiên cứu khoa học."
+6. Trình bày rõ ràng.
+'''
+
+def answer(input_img):
+    buffer = io.BytesIO()
+    input_img.save(buffer, format="PNG")
+    image_data = base64.b64encode(buffer.getvalue()).decode('utf-8')
+    # print(os.getenv('PROMPT'))
+
+    respose = executor.execute_with_image(user_input= '', model_input= os.getenv('PROMPT'), base64_image=image_data)
+
+    return respose