luanpoppe commited on
Commit
0f952b3
·
1 Parent(s): e1d2a79

feat: adicionando prints para facilitar o debug

Browse files
_utils/gerar_relatorio_modelo_usuario/contextual_retriever.py CHANGED
@@ -73,7 +73,9 @@ class ContextualRetriever:
73
  print(
74
  f"\n\nTENTATIVA FORMATAÇÃO CHUNKS NÚMERO {attempt}: {all_chunks_contents[0:500]}"
75
  )
 
76
  raw_response = await agpt_answer(prompt)
 
77
  response = cast(str, raw_response)
78
  # llms = LLM()
79
  # response = await llms.deepseek().ainvoke([HumanMessage(content=prompt)])
 
73
  print(
74
  f"\n\nTENTATIVA FORMATAÇÃO CHUNKS NÚMERO {attempt}: {all_chunks_contents[0:500]}"
75
  )
76
+ print("\nCOMEÇANDO UMA REQUISIÇÃO DO CONTEXTUAL")
77
  raw_response = await agpt_answer(prompt)
78
+ print("\nTERMINOU UMA REQUISIÇÃO DO CONTEXTUAL")
79
  response = cast(str, raw_response)
80
  # llms = LLM()
81
  # response = await llms.deepseek().ainvoke([HumanMessage(content=prompt)])
_utils/gerar_relatorio_modelo_usuario/utils.py CHANGED
@@ -72,9 +72,10 @@ async def get_response_from_auxiliar_contextual_prompt(full_text_as_array: List[
72
  for x in full_text_as_array:
73
  full_text += x
74
 
 
75
  prompt_auxiliar_summary = create_prompt_auxiliar_do_contextual_prompt(full_text)
76
 
77
- print("\n\n\nprompt_auxiliar_summary[0:500]: ", prompt_auxiliar_summary[0:500])
78
 
79
  # Claude comentado pois o limite de tokens estava sendo passado pela requisição e dava erro
80
  # response_auxiliar_summary = await aclaude_answer(
@@ -82,9 +83,11 @@ async def get_response_from_auxiliar_contextual_prompt(full_text_as_array: List[
82
  # )
83
 
84
  llms = LLM()
 
85
  response_auxiliar_summary = await llms.google_gemini().ainvoke(
86
  [HumanMessage(content=prompt_auxiliar_summary)]
87
  )
 
88
 
89
  print(
90
  "\n\n\n\nresponse_auxiliar_summary.content[0:500]: ",
 
72
  for x in full_text_as_array:
73
  full_text += x
74
 
75
+ print("\nCRIANDO PROMPT AUXILIAR DO CONTEXTUAL")
76
  prompt_auxiliar_summary = create_prompt_auxiliar_do_contextual_prompt(full_text)
77
 
78
+ print("\n\nprompt_auxiliar_summary[0:500]: ", prompt_auxiliar_summary[0:500])
79
 
80
  # Claude comentado pois o limite de tokens estava sendo passado pela requisição e dava erro
81
  # response_auxiliar_summary = await aclaude_answer(
 
83
  # )
84
 
85
  llms = LLM()
86
+ print("\nCOMEÇANDO REQUISIÇÃO AUXILIAR DO CONTEXTUAL")
87
  response_auxiliar_summary = await llms.google_gemini().ainvoke(
88
  [HumanMessage(content=prompt_auxiliar_summary)]
89
  )
90
+ print("\nTERMINOU REQUISIÇÃO AUXILIAR DO CONTEXTUAL")
91
 
92
  print(
93
  "\n\n\n\nresponse_auxiliar_summary.content[0:500]: ",
_utils/handle_files.py CHANGED
@@ -28,6 +28,7 @@ def handle_pdf_files_from_serializer(files):
28
 
29
 
30
  def remove_pdf_temp_files(listaPDFs):
 
31
  for file in listaPDFs:
32
  os.remove(file)
33
 
 
28
 
29
 
30
  def remove_pdf_temp_files(listaPDFs):
31
+ print("\nREMOVENDO ARQUIVOS PDF TEMPORÁRIOS")
32
  for file in listaPDFs:
33
  os.remove(file)
34
 
_utils/resumo_completo_cursor.py CHANGED
@@ -84,9 +84,11 @@ async def get_llm_summary_answer_by_cursor_complete(
84
  full_text_as_array
85
  )
86
 
 
87
  contextualized_chunks = await contextual_retriever.contextualize_all_chunks(
88
  all_PDFs_chunks, response_auxiliar_summary
89
  )
 
90
  chunks_processados = contextualized_chunks
91
  else:
92
  chunks_processados = all_PDFs_chunks
@@ -100,9 +102,11 @@ async def get_llm_summary_answer_by_cursor_complete(
100
 
101
  llm_ultimas_requests = serializer["llm_ultimas_requests"]
102
  # Generate enhanced summary
 
103
  structured_summaries = await summarizer.gerar_documento_final(
104
  vector_store, bm25, chunk_ids, llm_ultimas_requests, prompt_auxiliar_SEM_CONTEXT
105
  )
 
106
 
107
  if not isinstance(structured_summaries, list):
108
  from rest_framework.response import Response
@@ -114,8 +118,6 @@ async def get_llm_summary_answer_by_cursor_complete(
114
  for x in structured_summaries:
115
  texto_completo = texto_completo + x["content"] + "\n"
116
 
117
- print("\n\ntexto_completo[0: 1000]: ", texto_completo[0:1000])
118
-
119
  return {
120
  "resultado": structured_summaries,
121
  "texto_completo": texto_completo,
 
84
  full_text_as_array
85
  )
86
 
87
+ print("\nCOMEÇANDO A FAZER AS REQUISIÇÕES DO CONTEXTUAL")
88
  contextualized_chunks = await contextual_retriever.contextualize_all_chunks(
89
  all_PDFs_chunks, response_auxiliar_summary
90
  )
91
+ print("\nTERMINOU DE FAZER TODAS AS REQUISIÇÕES DO CONTEXTUAL")
92
  chunks_processados = contextualized_chunks
93
  else:
94
  chunks_processados = all_PDFs_chunks
 
102
 
103
  llm_ultimas_requests = serializer["llm_ultimas_requests"]
104
  # Generate enhanced summary
105
+ print("\nCOMEÇANDO A FAZER ÚLTIMA REQUISIÇÃO")
106
  structured_summaries = await summarizer.gerar_documento_final(
107
  vector_store, bm25, chunk_ids, llm_ultimas_requests, prompt_auxiliar_SEM_CONTEXT
108
  )
109
+ print("\nTERMINOU DE FAZER A ÚLTIMA REQUISIÇÃO")
110
 
111
  if not isinstance(structured_summaries, list):
112
  from rest_framework.response import Response
 
118
  for x in structured_summaries:
119
  texto_completo = texto_completo + x["content"] + "\n"
120
 
 
 
121
  return {
122
  "resultado": structured_summaries,
123
  "texto_completo": texto_completo,
_utils/splitters/Splitter_class.py CHANGED
@@ -33,6 +33,7 @@ class Splitter:
33
  initial_chunks: List[str] = []
34
 
35
  if isBubble:
 
36
  pages = await get_pdf_from_bubble(pdf_path, should_use_llama_parse)
37
  page_boundaries, combined_text = (
38
  combine_documents_without_losing_pagination(pages)
@@ -42,6 +43,7 @@ class Splitter:
42
  )
43
  else:
44
  if should_use_llama_parse:
 
45
  pages = await return_document_list_with_llama_parser(pdf_path)
46
  page_boundaries, combined_text = (
47
  combine_documents_without_losing_pagination(pages)
@@ -50,7 +52,9 @@ class Splitter:
50
  combined_text
51
  )
52
  else:
 
53
  pages = PyPDFLoader(pdf_path).load()
 
54
  page_boundaries, combined_text = (
55
  combine_documents_without_losing_pagination(pages)
56
  )
@@ -68,6 +72,7 @@ class Splitter:
68
  # text
69
  # ) # Quebra o item que é um Document de UMA PÁGINA inteira em um lista onde cada item é referente a um chunk, que são pedaços menores do que uma página.
70
  text_char = 0
 
71
  for chunk in initial_chunks:
72
  chunk_id = str(uuid.uuid4())
73
  start_char = text_char + 1
@@ -103,6 +108,7 @@ class Splitter:
103
  }
104
 
105
  # char_count += len(text)
 
106
 
107
  return chunks, initial_chunks
108
 
 
33
  initial_chunks: List[str] = []
34
 
35
  if isBubble:
36
+ print("\nPEGANDO PDF DO BUBBLE")
37
  pages = await get_pdf_from_bubble(pdf_path, should_use_llama_parse)
38
  page_boundaries, combined_text = (
39
  combine_documents_without_losing_pagination(pages)
 
43
  )
44
  else:
45
  if should_use_llama_parse:
46
+ print("\nENVIANDO PDFS PARA LLAMA PARSE")
47
  pages = await return_document_list_with_llama_parser(pdf_path)
48
  page_boundaries, combined_text = (
49
  combine_documents_without_losing_pagination(pages)
 
52
  combined_text
53
  )
54
  else:
55
+ print("\nCOMEÇANDO LEITURA DO PDF")
56
  pages = PyPDFLoader(pdf_path).load()
57
+ print("\nTERMINOU LEITURA DO PDF")
58
  page_boundaries, combined_text = (
59
  combine_documents_without_losing_pagination(pages)
60
  )
 
72
  # text
73
  # ) # Quebra o item que é um Document de UMA PÁGINA inteira em um lista onde cada item é referente a um chunk, que são pedaços menores do que uma página.
74
  text_char = 0
75
+ print("\QUEBRANDO PDF EM CHUNKS ORGANIZADOS")
76
  for chunk in initial_chunks:
77
  chunk_id = str(uuid.uuid4())
78
  start_char = text_char + 1
 
108
  }
109
 
110
  # char_count += len(text)
111
+ print("\nTERMINOU DE ORGANIZAR PDFS EM CHUNKS")
112
 
113
  return chunks, initial_chunks
114
 
gerar_documento/views.py CHANGED
@@ -31,7 +31,7 @@ class GerarDocumentoView(AsyncAPIView):
31
  if not serializer.validated_data:
32
  raise ValueError("Erro no validated_data")
33
  data = cast(Dict[str, Any], serializer.validated_data)
34
- print("\n\ndata: ", data)
35
 
36
  # data["prompt_auxiliar"] = (
37
  # prompt_auxiliar_inicio + "\n" + data["prompt_auxiliar"]
@@ -49,6 +49,7 @@ class GerarDocumentoView(AsyncAPIView):
49
 
50
  # remove_pdf_temp_files(listaPDFs)
51
 
 
52
  return Response({"resposta": resposta_llm})
53
 
54
 
@@ -73,5 +74,5 @@ class GerarDocumentoComPDFProprioView(AsyncAPIView):
73
  print("\n\nresposta_llm: ", resposta_llm)
74
 
75
  remove_pdf_temp_files(listaPDFs)
76
-
77
  return Response({"resposta": resposta_llm})
 
31
  if not serializer.validated_data:
32
  raise ValueError("Erro no validated_data")
33
  data = cast(Dict[str, Any], serializer.validated_data)
34
+ print("\ndata: ", data)
35
 
36
  # data["prompt_auxiliar"] = (
37
  # prompt_auxiliar_inicio + "\n" + data["prompt_auxiliar"]
 
49
 
50
  # remove_pdf_temp_files(listaPDFs)
51
 
52
+ print("PRÓXIMA LINHA ENVIA A RESPOSTA A QUEM FEZ A REQUISIÇÃO")
53
  return Response({"resposta": resposta_llm})
54
 
55
 
 
74
  print("\n\nresposta_llm: ", resposta_llm)
75
 
76
  remove_pdf_temp_files(listaPDFs)
77
+ print("PRÓXIMA LINHA ENVIA A RESPOSTA A QUEM FEZ A REQUISIÇÃO")
78
  return Response({"resposta": resposta_llm})