teixeiramg commited on
Commit
cab5133
·
verified ·
1 Parent(s): ed6732f

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +11 -8
app.py CHANGED
@@ -45,7 +45,7 @@ def answer_question(question, max_length=200, temperature=0.7, top_k=50, top_p=0
45
  try:
46
  if not pdf_content:
47
  return "Por favor, carregue um PDF primeiro.", ""
48
-
49
  # Limitar o tamanho do conteúdo do PDF para evitar exceder o número máximo de tokens
50
  max_tokens = 1024 # O número máximo de tokens permitido para o GPT-2 é geralmente 1024
51
  truncated_content = pdf_content[:max_tokens]
@@ -57,18 +57,21 @@ def answer_question(question, max_length=200, temperature=0.7, top_k=50, top_p=0
57
 
58
  # Tokenizando o prompt
59
  inputs = tokenizer(prompt, return_tensors="pt")
60
- print(f"Tokens de entrada: {inputs.input_ids.shape[1]} tokens") # Verifica o número de tokens
 
 
 
 
61
 
62
- # Gerar a resposta
63
  outputs = model.generate(
64
  inputs.input_ids,
65
- max_length=max_length,
66
- temperature=temperature,
67
- top_k=top_k,
68
- top_p=top_p,
69
- num_return_sequences=1
70
  )
71
 
 
72
  response = tokenizer.decode(outputs[0], skip_special_tokens=True)
73
  return response, prompt
74
  except Exception as e:
 
45
  try:
46
  if not pdf_content:
47
  return "Por favor, carregue um PDF primeiro.", ""
48
+
49
  # Limitar o tamanho do conteúdo do PDF para evitar exceder o número máximo de tokens
50
  max_tokens = 1024 # O número máximo de tokens permitido para o GPT-2 é geralmente 1024
51
  truncated_content = pdf_content[:max_tokens]
 
57
 
58
  # Tokenizando o prompt
59
  inputs = tokenizer(prompt, return_tensors="pt")
60
+ num_tokens = inputs.input_ids.shape[1]
61
+ print(f"Tokens de entrada: {num_tokens} tokens") # Verifica o número de tokens
62
+
63
+ if num_tokens > 1024:
64
+ return "Erro: O prompt gerado ultrapassou o limite de tokens do modelo. Tente um PDF menor.", prompt
65
 
66
+ # Gerar a resposta com configurações simples
67
  outputs = model.generate(
68
  inputs.input_ids,
69
+ max_length=200, # Limite de tamanho da resposta
70
+ temperature=0.7, # Usando temperatura mais baixa para evitar respostas incoerentes
71
+ num_return_sequences=1,
 
 
72
  )
73
 
74
+ # Decodificando a resposta
75
  response = tokenizer.decode(outputs[0], skip_special_tokens=True)
76
  return response, prompt
77
  except Exception as e: