Update handler.py

handler.py

@@ -15,23 +15,21 @@ class EndpointHandler:
         # Prompt personalizado para guiar al modelo
         input_text = (
             f"""
-        Genera un JSON válido con estas especificaciones:
-        - Cada objeto tiene una clave 'id' y un valor 'value'.
-        - Opciones para 'id': firstName, lastName, jobTitle, adress, email, phone, notes, roleFunction.
-        - Si 'id' es adress, email o phone, debe incluir subclaves: MOBILE, WORK, PERSONAL, MAIN, OTHER.
-        - 'roleFunction' debe ser una de estas: BUYER, SELLER, SUPPLIER, PARTNER, COLLABORATOR, PROVIDER, CUSTOMER.
-        - Ejemplo:
-          Para el texto: "Hablé con Ana López, CEO de Innovatech. Su número es seis cinco 4 321 987, que es nuestro socio tecnologico."
-          Salida:
-          {{
-              "values": [
-                  {{"id": "firstName", "value": "Ana"}},
-                  {{"id": "lastName", "value": "López"}},
-                  {{"id": "jobTitle", "value": "CEO"}},
-                  {{"id": "roleFunction", "value": "PARTNER"}},
-                  {{"id": "phone", "value": [{{"id": "MOBILE", "value": "654321987"}}]}}
-              ]
-          }}
+Genera un JSON válido con estas especificaciones:
+- Cada objeto tiene una clave 'id' y un valor 'value'.
+- Opciones para 'id': firstName, lastName, jobTitle, address, email, phone, notes, roleFunction.
+- Si 'id' es address, email o phone, debe incluir subclaves: MOBILE, WORK, PERSONAL, MAIN, OTHER.
+- 'roleFunction' debe ser una de estas: BUYER, SELLER, SUPPLIER, PARTNER, COLLABORATOR, PROVIDER, CUSTOMER.
+Ejemplo:
+Entrada: "Contacté a Juan Pérez, Gerente de Finanzas."
+Salida esperada:
+{{
+    "values": [
+        {{"id": "firstName", "value": "Juan"}},
+        {{"id": "lastName", "value": "Pérez"}},
+        {{"id": "jobTitle", "value": "Gerente de Finanzas"}}
+    ]
+}}
         Procesa este texto: "{data['inputs']}"
             """)
         # Imprimir el texto generado para el prompt
@@ -41,13 +39,13 @@ class EndpointHandler:
 
     def inference(self, tokens):
         generate_kwargs = {
-            "max_length": 1000,
-            "num_beams": 5,
-            "do_sample": True,
+            "max_length": 1500,
+            "num_beams": 7,
+            "do_sample": False,
             "temperature": 0.1,
-            "top_k": 50,
-            "top_p": 0.9,
-            "repetition_penalty": 2.5
+            "top_k": 10,
+            "top_p": 0.7,
+            "repetition_penalty": 2.8
         }
         with torch.no_grad():
             outputs = self.model.generate(**tokens, **generate_kwargs)