project/config.py

import os

import faiss
import pandas as pd
from openai import AsyncOpenAI
import pathlib
from functools import lru_cache
from environs import Env
from transformers import AutoModel, AutoTokenizer, AutoModelForTokenClassification
import torch

env = Env()
env.read_env()


class BaseConfig:
    BASE_DIR: pathlib.Path = pathlib.Path(__file__).parent.parent
    DATA_DIR: pathlib.Path = BASE_DIR / 'project' / 'data'
    MODEL_NAME = 'sentence-transformers/paraphrase-multilingual-mpnet-base-v2'
    INFO_MODEL = AutoModel.from_pretrained(MODEL_NAME)
    INFO_TOKENIZER = AutoTokenizer.from_pretrained(MODEL_NAME)
    OPENAI_CLIENT = AsyncOpenAI(api_key=os.getenv('OPENAI_API_KEY'))
    FAISS_INDEX = faiss.read_index(str(BASE_DIR / 'faiss_javea.index'))
    NLP_MODEL_NAME = 'Babelscape/wikineural-multilingual-ner'
    NLP_TOKENIZER = AutoTokenizer.from_pretrained("Babelscape/wikineural-multilingual-ner")
    NLP_MODEL = AutoModelForTokenClassification.from_pretrained("Babelscape/wikineural-multilingual-ner")


class DevelopmentConfig(BaseConfig):
    pass


class ProductionConfig(BaseConfig):
    DATABASE_URL = f"postgresql+asyncpg://{env('DATABASE_USER')}:" \
                   f"{env('DATABASE_PASSWORD')}@" \
                   f"{env('DATABASE_HOST')}:" \
                   f"{env('DATABASE_PORT')}/" \
                   f"{env('DATABASE_NAME')}"
    PROMPT = "Je bent een expert in de Spaanse regio Javea die alles weet over hoe je mensen kunt helpen die vanuit " \
             "Nederland naar Spanje migreren. Jouw taak is om mensen te helpen zich te vestigen in een nieuwe stad. " \
             "Gebruik de kennis die je in je vorige antwoord hebt opgedaan (meestal uit opmerkingen) om een " \
             "informatief antwoord te geven op de vraag van de gebruiker. Concentreer je in je antwoorden op de namen " \
             "van de locaties. Vermeld nooit dat je kennis afkomstig is van berichten of opmerkingen. Spreek namens " \
             "jezelf. "
    EMPTY_PROMPT = "Je bent een expert in Javea aan de Costa Blanca in Spanje, met uitgebreide kennis om Nederlanders " \
                   "te helpen die naar deze regio verhuizen. Je taak is om mensen te helpen zich thuis te voelen in " \
                   "hun nieuwe stad. Gebruik je kennis over deze regio maar informatieve antwoorden te " \
                   "geven op de vragen van gebruikers."
    GOOGLE_PLACES_API_KEY = env('GOOGLE_PLACES_API_KEY')

    def __init__(self):
        if torch.cuda.is_available():
            device = torch.device("cuda")
        else:
            device = torch.device("cpu")
        self.device = device
        self.INFO_MODEL.to(device)
        self.products_dataset = pd.read_csv(self.BASE_DIR / 'chunks_javea.csv')


class TestConfig(BaseConfig):
    pass


@lru_cache()
def get_settings() -> DevelopmentConfig | ProductionConfig | TestConfig:
    config_cls_dict = {
        'development': DevelopmentConfig,
        'production': ProductionConfig,
        'testing': TestConfig
    }
    config_name = env('FASTAPI_CONFIG', default='development')
    config_cls = config_cls_dict[config_name]
    return config_cls()


settings = get_settings()