Spaces:
Sleeping
Sleeping
luanpoppe
commited on
Commit
·
0f952b3
1
Parent(s):
e1d2a79
feat: adicionando prints para facilitar o debug
Browse files
_utils/gerar_relatorio_modelo_usuario/contextual_retriever.py
CHANGED
@@ -73,7 +73,9 @@ class ContextualRetriever:
|
|
73 |
print(
|
74 |
f"\n\nTENTATIVA FORMATAÇÃO CHUNKS NÚMERO {attempt}: {all_chunks_contents[0:500]}"
|
75 |
)
|
|
|
76 |
raw_response = await agpt_answer(prompt)
|
|
|
77 |
response = cast(str, raw_response)
|
78 |
# llms = LLM()
|
79 |
# response = await llms.deepseek().ainvoke([HumanMessage(content=prompt)])
|
|
|
73 |
print(
|
74 |
f"\n\nTENTATIVA FORMATAÇÃO CHUNKS NÚMERO {attempt}: {all_chunks_contents[0:500]}"
|
75 |
)
|
76 |
+
print("\nCOMEÇANDO UMA REQUISIÇÃO DO CONTEXTUAL")
|
77 |
raw_response = await agpt_answer(prompt)
|
78 |
+
print("\nTERMINOU UMA REQUISIÇÃO DO CONTEXTUAL")
|
79 |
response = cast(str, raw_response)
|
80 |
# llms = LLM()
|
81 |
# response = await llms.deepseek().ainvoke([HumanMessage(content=prompt)])
|
_utils/gerar_relatorio_modelo_usuario/utils.py
CHANGED
@@ -72,9 +72,10 @@ async def get_response_from_auxiliar_contextual_prompt(full_text_as_array: List[
|
|
72 |
for x in full_text_as_array:
|
73 |
full_text += x
|
74 |
|
|
|
75 |
prompt_auxiliar_summary = create_prompt_auxiliar_do_contextual_prompt(full_text)
|
76 |
|
77 |
-
print("\n\
|
78 |
|
79 |
# Claude comentado pois o limite de tokens estava sendo passado pela requisição e dava erro
|
80 |
# response_auxiliar_summary = await aclaude_answer(
|
@@ -82,9 +83,11 @@ async def get_response_from_auxiliar_contextual_prompt(full_text_as_array: List[
|
|
82 |
# )
|
83 |
|
84 |
llms = LLM()
|
|
|
85 |
response_auxiliar_summary = await llms.google_gemini().ainvoke(
|
86 |
[HumanMessage(content=prompt_auxiliar_summary)]
|
87 |
)
|
|
|
88 |
|
89 |
print(
|
90 |
"\n\n\n\nresponse_auxiliar_summary.content[0:500]: ",
|
|
|
72 |
for x in full_text_as_array:
|
73 |
full_text += x
|
74 |
|
75 |
+
print("\nCRIANDO PROMPT AUXILIAR DO CONTEXTUAL")
|
76 |
prompt_auxiliar_summary = create_prompt_auxiliar_do_contextual_prompt(full_text)
|
77 |
|
78 |
+
print("\n\nprompt_auxiliar_summary[0:500]: ", prompt_auxiliar_summary[0:500])
|
79 |
|
80 |
# Claude comentado pois o limite de tokens estava sendo passado pela requisição e dava erro
|
81 |
# response_auxiliar_summary = await aclaude_answer(
|
|
|
83 |
# )
|
84 |
|
85 |
llms = LLM()
|
86 |
+
print("\nCOMEÇANDO REQUISIÇÃO AUXILIAR DO CONTEXTUAL")
|
87 |
response_auxiliar_summary = await llms.google_gemini().ainvoke(
|
88 |
[HumanMessage(content=prompt_auxiliar_summary)]
|
89 |
)
|
90 |
+
print("\nTERMINOU REQUISIÇÃO AUXILIAR DO CONTEXTUAL")
|
91 |
|
92 |
print(
|
93 |
"\n\n\n\nresponse_auxiliar_summary.content[0:500]: ",
|
_utils/handle_files.py
CHANGED
@@ -28,6 +28,7 @@ def handle_pdf_files_from_serializer(files):
|
|
28 |
|
29 |
|
30 |
def remove_pdf_temp_files(listaPDFs):
|
|
|
31 |
for file in listaPDFs:
|
32 |
os.remove(file)
|
33 |
|
|
|
28 |
|
29 |
|
30 |
def remove_pdf_temp_files(listaPDFs):
|
31 |
+
print("\nREMOVENDO ARQUIVOS PDF TEMPORÁRIOS")
|
32 |
for file in listaPDFs:
|
33 |
os.remove(file)
|
34 |
|
_utils/resumo_completo_cursor.py
CHANGED
@@ -84,9 +84,11 @@ async def get_llm_summary_answer_by_cursor_complete(
|
|
84 |
full_text_as_array
|
85 |
)
|
86 |
|
|
|
87 |
contextualized_chunks = await contextual_retriever.contextualize_all_chunks(
|
88 |
all_PDFs_chunks, response_auxiliar_summary
|
89 |
)
|
|
|
90 |
chunks_processados = contextualized_chunks
|
91 |
else:
|
92 |
chunks_processados = all_PDFs_chunks
|
@@ -100,9 +102,11 @@ async def get_llm_summary_answer_by_cursor_complete(
|
|
100 |
|
101 |
llm_ultimas_requests = serializer["llm_ultimas_requests"]
|
102 |
# Generate enhanced summary
|
|
|
103 |
structured_summaries = await summarizer.gerar_documento_final(
|
104 |
vector_store, bm25, chunk_ids, llm_ultimas_requests, prompt_auxiliar_SEM_CONTEXT
|
105 |
)
|
|
|
106 |
|
107 |
if not isinstance(structured_summaries, list):
|
108 |
from rest_framework.response import Response
|
@@ -114,8 +118,6 @@ async def get_llm_summary_answer_by_cursor_complete(
|
|
114 |
for x in structured_summaries:
|
115 |
texto_completo = texto_completo + x["content"] + "\n"
|
116 |
|
117 |
-
print("\n\ntexto_completo[0: 1000]: ", texto_completo[0:1000])
|
118 |
-
|
119 |
return {
|
120 |
"resultado": structured_summaries,
|
121 |
"texto_completo": texto_completo,
|
|
|
84 |
full_text_as_array
|
85 |
)
|
86 |
|
87 |
+
print("\nCOMEÇANDO A FAZER AS REQUISIÇÕES DO CONTEXTUAL")
|
88 |
contextualized_chunks = await contextual_retriever.contextualize_all_chunks(
|
89 |
all_PDFs_chunks, response_auxiliar_summary
|
90 |
)
|
91 |
+
print("\nTERMINOU DE FAZER TODAS AS REQUISIÇÕES DO CONTEXTUAL")
|
92 |
chunks_processados = contextualized_chunks
|
93 |
else:
|
94 |
chunks_processados = all_PDFs_chunks
|
|
|
102 |
|
103 |
llm_ultimas_requests = serializer["llm_ultimas_requests"]
|
104 |
# Generate enhanced summary
|
105 |
+
print("\nCOMEÇANDO A FAZER ÚLTIMA REQUISIÇÃO")
|
106 |
structured_summaries = await summarizer.gerar_documento_final(
|
107 |
vector_store, bm25, chunk_ids, llm_ultimas_requests, prompt_auxiliar_SEM_CONTEXT
|
108 |
)
|
109 |
+
print("\nTERMINOU DE FAZER A ÚLTIMA REQUISIÇÃO")
|
110 |
|
111 |
if not isinstance(structured_summaries, list):
|
112 |
from rest_framework.response import Response
|
|
|
118 |
for x in structured_summaries:
|
119 |
texto_completo = texto_completo + x["content"] + "\n"
|
120 |
|
|
|
|
|
121 |
return {
|
122 |
"resultado": structured_summaries,
|
123 |
"texto_completo": texto_completo,
|
_utils/splitters/Splitter_class.py
CHANGED
@@ -33,6 +33,7 @@ class Splitter:
|
|
33 |
initial_chunks: List[str] = []
|
34 |
|
35 |
if isBubble:
|
|
|
36 |
pages = await get_pdf_from_bubble(pdf_path, should_use_llama_parse)
|
37 |
page_boundaries, combined_text = (
|
38 |
combine_documents_without_losing_pagination(pages)
|
@@ -42,6 +43,7 @@ class Splitter:
|
|
42 |
)
|
43 |
else:
|
44 |
if should_use_llama_parse:
|
|
|
45 |
pages = await return_document_list_with_llama_parser(pdf_path)
|
46 |
page_boundaries, combined_text = (
|
47 |
combine_documents_without_losing_pagination(pages)
|
@@ -50,7 +52,9 @@ class Splitter:
|
|
50 |
combined_text
|
51 |
)
|
52 |
else:
|
|
|
53 |
pages = PyPDFLoader(pdf_path).load()
|
|
|
54 |
page_boundaries, combined_text = (
|
55 |
combine_documents_without_losing_pagination(pages)
|
56 |
)
|
@@ -68,6 +72,7 @@ class Splitter:
|
|
68 |
# text
|
69 |
# ) # Quebra o item que é um Document de UMA PÁGINA inteira em um lista onde cada item é referente a um chunk, que são pedaços menores do que uma página.
|
70 |
text_char = 0
|
|
|
71 |
for chunk in initial_chunks:
|
72 |
chunk_id = str(uuid.uuid4())
|
73 |
start_char = text_char + 1
|
@@ -103,6 +108,7 @@ class Splitter:
|
|
103 |
}
|
104 |
|
105 |
# char_count += len(text)
|
|
|
106 |
|
107 |
return chunks, initial_chunks
|
108 |
|
|
|
33 |
initial_chunks: List[str] = []
|
34 |
|
35 |
if isBubble:
|
36 |
+
print("\nPEGANDO PDF DO BUBBLE")
|
37 |
pages = await get_pdf_from_bubble(pdf_path, should_use_llama_parse)
|
38 |
page_boundaries, combined_text = (
|
39 |
combine_documents_without_losing_pagination(pages)
|
|
|
43 |
)
|
44 |
else:
|
45 |
if should_use_llama_parse:
|
46 |
+
print("\nENVIANDO PDFS PARA LLAMA PARSE")
|
47 |
pages = await return_document_list_with_llama_parser(pdf_path)
|
48 |
page_boundaries, combined_text = (
|
49 |
combine_documents_without_losing_pagination(pages)
|
|
|
52 |
combined_text
|
53 |
)
|
54 |
else:
|
55 |
+
print("\nCOMEÇANDO LEITURA DO PDF")
|
56 |
pages = PyPDFLoader(pdf_path).load()
|
57 |
+
print("\nTERMINOU LEITURA DO PDF")
|
58 |
page_boundaries, combined_text = (
|
59 |
combine_documents_without_losing_pagination(pages)
|
60 |
)
|
|
|
72 |
# text
|
73 |
# ) # Quebra o item que é um Document de UMA PÁGINA inteira em um lista onde cada item é referente a um chunk, que são pedaços menores do que uma página.
|
74 |
text_char = 0
|
75 |
+
print("\QUEBRANDO PDF EM CHUNKS ORGANIZADOS")
|
76 |
for chunk in initial_chunks:
|
77 |
chunk_id = str(uuid.uuid4())
|
78 |
start_char = text_char + 1
|
|
|
108 |
}
|
109 |
|
110 |
# char_count += len(text)
|
111 |
+
print("\nTERMINOU DE ORGANIZAR PDFS EM CHUNKS")
|
112 |
|
113 |
return chunks, initial_chunks
|
114 |
|
gerar_documento/views.py
CHANGED
@@ -31,7 +31,7 @@ class GerarDocumentoView(AsyncAPIView):
|
|
31 |
if not serializer.validated_data:
|
32 |
raise ValueError("Erro no validated_data")
|
33 |
data = cast(Dict[str, Any], serializer.validated_data)
|
34 |
-
print("\
|
35 |
|
36 |
# data["prompt_auxiliar"] = (
|
37 |
# prompt_auxiliar_inicio + "\n" + data["prompt_auxiliar"]
|
@@ -49,6 +49,7 @@ class GerarDocumentoView(AsyncAPIView):
|
|
49 |
|
50 |
# remove_pdf_temp_files(listaPDFs)
|
51 |
|
|
|
52 |
return Response({"resposta": resposta_llm})
|
53 |
|
54 |
|
@@ -73,5 +74,5 @@ class GerarDocumentoComPDFProprioView(AsyncAPIView):
|
|
73 |
print("\n\nresposta_llm: ", resposta_llm)
|
74 |
|
75 |
remove_pdf_temp_files(listaPDFs)
|
76 |
-
|
77 |
return Response({"resposta": resposta_llm})
|
|
|
31 |
if not serializer.validated_data:
|
32 |
raise ValueError("Erro no validated_data")
|
33 |
data = cast(Dict[str, Any], serializer.validated_data)
|
34 |
+
print("\ndata: ", data)
|
35 |
|
36 |
# data["prompt_auxiliar"] = (
|
37 |
# prompt_auxiliar_inicio + "\n" + data["prompt_auxiliar"]
|
|
|
49 |
|
50 |
# remove_pdf_temp_files(listaPDFs)
|
51 |
|
52 |
+
print("PRÓXIMA LINHA ENVIA A RESPOSTA A QUEM FEZ A REQUISIÇÃO")
|
53 |
return Response({"resposta": resposta_llm})
|
54 |
|
55 |
|
|
|
74 |
print("\n\nresposta_llm: ", resposta_llm)
|
75 |
|
76 |
remove_pdf_temp_files(listaPDFs)
|
77 |
+
print("PRÓXIMA LINHA ENVIA A RESPOSTA A QUEM FEZ A REQUISIÇÃO")
|
78 |
return Response({"resposta": resposta_llm})
|