import os import faiss import pandas as pd from openai import AsyncOpenAI import pathlib from functools import lru_cache from environs import Env from transformers import AutoModel, AutoTokenizer, AutoModelForTokenClassification import torch env = Env() env.read_env() class BaseConfig: BASE_DIR: pathlib.Path = pathlib.Path(__file__).parent.parent DATA_DIR: pathlib.Path = BASE_DIR / 'project' / 'data' MODEL_NAME = 'sentence-transformers/paraphrase-multilingual-mpnet-base-v2' INFO_MODEL = AutoModel.from_pretrained(MODEL_NAME) INFO_TOKENIZER = AutoTokenizer.from_pretrained(MODEL_NAME) OPENAI_CLIENT = AsyncOpenAI(api_key=os.getenv('OPENAI_API_KEY')) FAISS_INDEX = faiss.read_index(str(BASE_DIR / 'faiss_javea.index')) NLP_MODEL_NAME = 'Babelscape/wikineural-multilingual-ner' NLP_TOKENIZER = AutoTokenizer.from_pretrained("Babelscape/wikineural-multilingual-ner") NLP_MODEL = AutoModelForTokenClassification.from_pretrained("Babelscape/wikineural-multilingual-ner") class DevelopmentConfig(BaseConfig): pass class ProductionConfig(BaseConfig): DATABASE_URL = f"postgresql+asyncpg://{env('DATABASE_USER')}:" \ f"{env('DATABASE_PASSWORD')}@" \ f"{env('DATABASE_HOST')}:" \ f"{env('DATABASE_PORT')}/" \ f"{env('DATABASE_NAME')}" PROMPT = "Je bent een expert in de Spaanse regio Javea die alles weet over hoe je mensen kunt helpen die vanuit " \ "Nederland naar Spanje migreren. Jouw taak is om mensen te helpen zich te vestigen in een nieuwe stad. " \ "Gebruik de kennis die je in je vorige antwoord hebt opgedaan (meestal uit opmerkingen) om een " \ "informatief antwoord te geven op de vraag van de gebruiker. Concentreer je in je antwoorden op de namen " \ "van de locaties. Vermeld nooit dat je kennis afkomstig is van berichten of opmerkingen. Spreek namens " \ "jezelf. " EMPTY_PROMPT = "Je bent een expert in Javea aan de Costa Blanca in Spanje, met uitgebreide kennis om Nederlanders " \ "te helpen die naar deze regio verhuizen. Je taak is om mensen te helpen zich thuis te voelen in " \ "hun nieuwe stad. Gebruik je kennis over deze regio maar informatieve antwoorden te " \ "geven op de vragen van gebruikers." GOOGLE_PLACES_API_KEY = env('GOOGLE_PLACES_API_KEY') def __init__(self): if torch.cuda.is_available(): device = torch.device("cuda") else: device = torch.device("cpu") self.device = device self.INFO_MODEL.to(device) self.products_dataset = pd.read_csv(self.BASE_DIR / 'chunks_javea.csv') class TestConfig(BaseConfig): pass @lru_cache() def get_settings() -> DevelopmentConfig | ProductionConfig | TestConfig: config_cls_dict = { 'development': DevelopmentConfig, 'production': ProductionConfig, 'testing': TestConfig } config_name = env('FASTAPI_CONFIG', default='development') config_cls = config_cls_dict[config_name] return config_cls() settings = get_settings()