Spaces:
Running
Running
Add the num_workers parameter to the load_data function to enable multiprocessing when loading documents.
#5
by
Restodecoca
- opened
Adicionado o parâmetro num_workers à função load_data para permitir o uso de multiprocessamento no carregamento de documentos. Isso também ajudará a acelerar o processamento quando um pipeline for adicionado posteriormente para validação de dados com o Pydantic. Foi observado que o tempo de carregamento dos documentos foi até 20 segundos mais rápido ao utilizar 6 'workers' (cores).
leandroaraujodev
changed pull request status to
merged