somosnlp-hackathon-2022/itama

Generación de respuestas a preguntas AMA para profesiones

El modelo presentando a continuación se ha generado a partir del dataset de preguntas AMA desde Reddit (ITAMA-DataSet). En especial, se pueden realizar preguntas sobre las siguientes profesiones: medico, psicologo, ciencias, ingeniero, profesor, jefe y abogado.

Modo de uso

Al ser un modelo generado a partir de mT5, es necesario incluir como prefijo la profesión y luego la sentencia de la forma:

<profesion>: <pregunta>

Algunos ejemplos de preguntas:

Texto de entrada	Texto generado
ingeniero: qué es lo que más te gusta de tu trabajo?	Es el lenguaje del tráfico, lo que mas me gusta es el conocimiento de programación. Lo que mas me gusta es la idea de qué diseñar un modelo
psicologo: qué es lo que más te gusta de tu trabajo?	Una que lo que más me gusta de verdad es que la persona que se siente tener en serio problemas y de ansiedad, siempre es común que los psicólogos tengan que estar presente para tener en cuenta que no pueden hacerlo bien a la gente
abogado: cuanto dinero ganas al año?	No gano tanto dinero que gano, pero si de hecho gano minimo 40 mil pesos al mes.
ciencias: cuando dinero ganas al año?	No gano ahí mucho más de un año.
medico: cuando dinero ganas al año?	No gano dinero, gano minimo 40 dlrs x hora (minimo tengo 12-18 y tengo unos 34 dlr)
profesor: cuando dinero ganas al año?	Literalmente cuando son almuerzos y minimo y no tenes idea
jefe: qué me recomiendas hacer?	Actividades placentales, hacer ejercicios y enfrentar a las emergencias

Parámetros usados en el entrenamiento

model_args.num_train_epochs = 10
model_args.overwrite_output_dir = True
model_args.fp16 = False
model_args.use_multiprocessing = False
model_args.use_multiprocessing_for_evaluation = False
model_args.use_multiprocessed_decoding = False
model_args.learning_rate=0.001
model_args.train_batch_size = 8
model_args.eval_batch_size = 8
model_args.adafactor_beta1 = 0
model_args.length_penalty=1.5
model_args.max_length=100
model_args.max_seq_length = 100