Update app.py

app.py

@@ -3,29 +3,45 @@ from huggingface_hub import InferenceClient
 import json
 
 # Inicialize o cliente com o modelo do Hugging Face
-#client = InferenceClient(model="ulisesbravo/autotrain-nsuej-5ctie")
-#client = InferenceClient(model="ulisesbravo/autotrain-nzog3-ca819");
-#client = InferenceClient(model="ulisesbravo/autotrain-po0st-um4bf");
-#client = InferenceClient(model="ulisesbravo/autotrain-k9ag8-b7nm0");
-#client = InferenceClient(model="ulisesbravo/autotrain-pt-l1sfd-nom8j");
-client = InferenceClient(model="rss9051/autotrein-BERT-iiLEX-dgs-0003");
-
+client = InferenceClient(model="rss9051/autotrein-BERT-iiLEX-dgs-0004")
+
+# Função para dividir o texto em chunks menores
+def split_text_into_chunks(text, max_tokens=512):
+    words = text.split()
+    chunks = []
+    for i in range(0, len(words), max_tokens):
+        chunk = " ".join(words[i:i + max_tokens])
+        chunks.append(chunk)
+    return chunks
+
+# Função para classificar texto, lidando com textos longos
 def classify_text(text):
-    # Realize a inferência chamando o método post
-    response_bytes = client.post(json={"inputs": text})  # Enviar o texto
-
-    # Decodificar a resposta de bytes para string e depois para JSON
-    response_str = response_bytes.decode('utf-8')  # Decodificar de bytes para string
-    response = json.loads(response_str)  # Converter string JSON para um objeto Python
-
-    # Inspecionar a resposta para depuração
-    print(response)
-
-    # Verificar se a resposta é uma lista válida
-    if isinstance(response, list) and len(response) > 0:
-        # Ordenar as classificações pelo score e pegar a de maior valor
-        sorted_response = sorted(response[0], key=lambda x: x['score'], reverse=True)
-        predicted_class = sorted_response[0]['label']  # Pegar a classe com maior score
+    chunks = split_text_into_chunks(text, max_tokens=512)  # Divida o texto em chunks menores
+    all_responses = []  # Lista para armazenar respostas de cada chunk
+
+    for chunk in chunks:
+        response_bytes = client.post(json={"inputs": chunk})  # Enviar o chunk
+        response_str = response_bytes.decode('utf-8')  # Decodificar de bytes para string
+        response = json.loads(response_str)  # Converter string JSON para objeto Python
+
+        if isinstance(response, list) and len(response) > 0:
+            sorted_response = sorted(response[0], key=lambda x: x['score'], reverse=True)
+            all_responses.append(sorted_response[0])  # Adicionar a melhor classificação do chunk
+
+    # Combinar resultados de todos os chunks
+    if all_responses:
+        # Contar as classes mais frequentes
+        class_scores = {}
+        for res in all_responses:
+            label = res['label']
+            score = res['score']
+            if label in class_scores:
+                class_scores[label] += score
+            else:
+                class_scores[label] = score
+        
+        # Obter a classe com maior score combinado
+        predicted_class = max(class_scores, key=class_scores.get)
     else:
         predicted_class = "Classificação não encontrada"
 
@@ -41,4 +57,4 @@ demo = gr.Interface(
 )
 
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch()