File size: 3,178 Bytes
0632cd1 56779ed 0632cd1 56779ed 0632cd1 56779ed 0632cd1 56779ed 0632cd1 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 |
import os
import faiss
import pandas as pd
from openai import AsyncOpenAI
import pathlib
from functools import lru_cache
from environs import Env
from transformers import AutoModel, AutoTokenizer, AutoModelForTokenClassification
import torch
env = Env()
env.read_env()
class BaseConfig:
BASE_DIR: pathlib.Path = pathlib.Path(__file__).parent.parent
DATA_DIR: pathlib.Path = BASE_DIR / 'project' / 'data'
MODEL_NAME = 'sentence-transformers/paraphrase-multilingual-mpnet-base-v2'
INFO_MODEL = AutoModel.from_pretrained(MODEL_NAME)
INFO_TOKENIZER = AutoTokenizer.from_pretrained(MODEL_NAME)
OPENAI_CLIENT = AsyncOpenAI(api_key=os.getenv('OPENAI_API_KEY'))
FAISS_INDEX = faiss.read_index(str(BASE_DIR / 'faiss_javea.index'))
NLP_MODEL_NAME = 'Babelscape/wikineural-multilingual-ner'
NLP_TOKENIZER = AutoTokenizer.from_pretrained("Babelscape/wikineural-multilingual-ner")
NLP_MODEL = AutoModelForTokenClassification.from_pretrained("Babelscape/wikineural-multilingual-ner")
class DevelopmentConfig(BaseConfig):
pass
class ProductionConfig(BaseConfig):
DATABASE_URL = f"postgresql+asyncpg://{env('DATABASE_USER')}:" \
f"{env('DATABASE_PASSWORD')}@" \
f"{env('DATABASE_HOST')}:" \
f"{env('DATABASE_PORT')}/" \
f"{env('DATABASE_NAME')}"
PROMPT = "Je bent een expert in de Spaanse regio Javea die alles weet over hoe je mensen kunt helpen die vanuit " \
"Nederland naar Spanje migreren. Jouw taak is om mensen te helpen zich te vestigen in een nieuwe stad. " \
"Gebruik de kennis die je in je vorige antwoord hebt opgedaan (meestal uit opmerkingen) om een " \
"informatief antwoord te geven op de vraag van de gebruiker. Concentreer je in je antwoorden op de namen " \
"van de locaties. Vermeld nooit dat je kennis afkomstig is van berichten of opmerkingen. Spreek namens " \
"jezelf. "
EMPTY_PROMPT = "Je bent een expert in Javea aan de Costa Blanca in Spanje, met uitgebreide kennis om Nederlanders " \
"te helpen die naar deze regio verhuizen. Je taak is om mensen te helpen zich thuis te voelen in " \
"hun nieuwe stad. Gebruik je kennis over deze regio maar informatieve antwoorden te " \
"geven op de vragen van gebruikers."
GOOGLE_PLACES_API_KEY = env('GOOGLE_PLACES_API_KEY')
def __init__(self):
if torch.cuda.is_available():
device = torch.device("cuda")
else:
device = torch.device("cpu")
self.device = device
self.INFO_MODEL.to(device)
self.products_dataset = pd.read_csv(self.BASE_DIR / 'chunks_javea.csv')
class TestConfig(BaseConfig):
pass
@lru_cache()
def get_settings() -> DevelopmentConfig | ProductionConfig | TestConfig:
config_cls_dict = {
'development': DevelopmentConfig,
'production': ProductionConfig,
'testing': TestConfig
}
config_name = env('FASTAPI_CONFIG', default='development')
config_cls = config_cls_dict[config_name]
return config_cls()
settings = get_settings()
|