nmarafo commited on
Commit
ab57f57
·
verified ·
1 Parent(s): 66a5088

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +84 -32
app.py CHANGED
@@ -11,62 +11,114 @@ model = AutoModelForCausalLM.from_pretrained(
11
  torch_dtype=torch.bfloat16,
12
  )
13
 
14
- # Función para procesar la respuesta y clasificar según las políticas de seguridad
15
- def respond(
16
- message,
17
- history: list[tuple[str, str]],
18
- system_message,
19
- max_tokens,
20
- temperature,
21
- top_p,
22
- ):
23
- politica_seguridad = """
24
- * "No al acoso": El mensaje no debe contener ni buscar la generación de contenido que sea malicioso, intimidante, que fomente el bullying o abusivo dirigido a otra persona (por ejemplo, amenazas físicas, negación de eventos trágicos, menosprecio a víctimas de violencia).
25
- """
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
26
 
27
- # Formatear el prompt con el mensaje de seguridad y la política
28
- prompt = f"""Eres un experto en políticas tratando de determinar si un mensaje del usuario
29
- viola las políticas de seguridad definidas.
 
 
 
 
 
 
 
 
30
 
31
- <inicio_turno>
32
- Pregunta del usuario: {message.strip()}
33
- <fin_turno>
 
 
 
34
 
35
- Nuestro principio de seguridad se define a continuación:
 
 
36
 
37
- {politica_seguridad.strip()}
38
 
39
- ¿La pregunta del usuario viola el principio anterior? Tu respuesta debe comenzar con
40
- 'Sí' o 'No'. Luego, explica paso a paso para asegurarte de que respondemos correctamente.
41
- """
 
 
 
 
 
 
 
 
42
 
43
  inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
44
 
45
  with torch.no_grad():
46
  logits = model(**inputs).logits
47
 
48
- # Extraer los logits para los tokens '' y 'No'
49
  vocab = tokenizer.get_vocab()
50
- selected_logits = logits[0, -1, [vocab['Sí'], vocab['No']]]
 
 
 
51
 
52
  # Convertir los logits en una probabilidad con softmax
53
  probabilities = softmax(selected_logits, dim=0)
54
 
55
- # Devolver la probabilidad de 'Sí' o 'No' y la respuesta generada
56
  score_yes = probabilities[0].item()
57
 
58
- response = f"Puntuación para 'Sí' (violación): {score_yes:.4f}"
 
 
 
59
 
60
  return response
61
 
62
- # Crear la interfaz de Gradio
63
  demo = gr.ChatInterface(
64
  respond,
65
  additional_inputs=[
66
- gr.Textbox(value="Eres un chatbot amigable.", label="Mensaje del sistema"),
67
- gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Máximo de nuevos tokens"),
68
- gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperatura"),
69
- gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p (muestreo nuclear)"),
 
 
70
  ],
71
  )
72
 
 
11
  torch_dtype=torch.bfloat16,
12
  )
13
 
14
+ # Función para generar el prompt dependiendo del idioma seleccionado
15
+ def generar_prompt(message, tipo_clasificacion, idioma):
16
+ if idioma == "Español":
17
+ politicas = {
18
+ "Contenido Peligroso": """
19
+ * "No al contenido peligroso": El mensaje no debe contener ni buscar la generación de contenido que cause daño a uno mismo o a otros (por ejemplo, acceder o fabricar armas de fuego o explosivos, promoción del terrorismo, instrucciones para el suicidio).
20
+ """,
21
+ "Acoso": """
22
+ * "No al acoso": El mensaje no debe contener ni buscar la generación de contenido que sea malicioso, intimidante, que fomente el bullying o abusivo dirigido a otra persona (por ejemplo, amenazas físicas, negación de eventos trágicos, menosprecio a víctimas de violencia).
23
+ """,
24
+ "Discurso de Odio": """
25
+ * "No al discurso de odio": El mensaje no debe contener ni buscar la generación de contenido que ataque la identidad o atributos protegidos (por ejemplo, insultos raciales, promoción de la discriminación, llamados a la violencia contra grupos protegidos) o que deshumanice, menosprecie o vilipendie por motivos de raza, etnia, religión, discapacidad, edad, nacionalidad, estatus de veterano, orientación sexual, género, identidad de género, casta, u otro estatus protegido.
26
+ """,
27
+ "Contenido Sexual": """
28
+ * "No al contenido sexual explícito": El mensaje no debe contener ni buscar la generación de contenido que haga referencia a actos sexuales u otro contenido lascivo (por ejemplo, descripciones gráficas sexuales, contenido destinado a causar excitación). Los términos médicos o científicos relacionados con la anatomía humana o la educación sexual están permitidos.
29
+ """
30
+ }
31
+ else: # English
32
+ politicas = {
33
+ "Dangerous Content": """
34
+ * "No Dangerous Content": The prompt shall not contain or seek generation of content that harms oneself and/or others (e.g., accessing or building firearms and explosive devices, promotion of terrorism, instructions for suicide).
35
+ """,
36
+ "Harassment": """
37
+ * "No Harassment": The prompt shall not contain or seek generation of content that is malicious, intimidating, bullying, or abusive content targeting another individual (e.g., physical threats, denial of tragic events, disparaging victims of violence).
38
+ """,
39
+ "Hate Speech": """
40
+ * "No Hate Speech": The prompt shall not contain or seek generation of content that targets identity and/or protected attributes (e.g., racial slurs, promotion of discrimination, calls to violence against protected groups) or dehumanizing/belittling/vilifying based on race, ethnicity, religion, disability, age, nationality, veteran status, sexual orientation, gender, gender identity, caste, or any other protected status.
41
+ """,
42
+ "Sexually Explicit Information": """
43
+ * "No Sexually Explicit Information": The prompt shall not contain or seek generation of content that contains references to sexual acts or other lewd content (e.g., sexually graphic descriptions, content aimed at causing arousal). Medical or scientific terms related to human anatomy or sex education are permitted.
44
+ """
45
+ }
46
+
47
+ # Formatear el prompt según el tipo de clasificación seleccionado
48
+ politica_seguridad = politicas.get(tipo_clasificacion, "")
49
 
50
+ if idioma == "Español":
51
+ prompt = f"""Eres un experto en políticas tratando de determinar si un mensaje del usuario
52
+ viola las políticas de seguridad definidas.
53
+
54
+ <inicio_turno>
55
+ Pregunta del usuario: {message.strip()}
56
+ <fin_turno>
57
+
58
+ Nuestro principio de seguridad se define a continuación:
59
+
60
+ {politica_seguridad.strip()}
61
 
62
+ ¿La pregunta del usuario viola el principio anterior? Tu respuesta debe comenzar con
63
+ 'Sí' o 'No'. Luego, explica paso a paso para asegurarte de que respondemos correctamente.
64
+ """
65
+ else: # Default to English
66
+ prompt = f"""You are a policy expert trying to help determine whether a user prompt is in
67
+ violation of the defined safety policies.
68
 
69
+ <start_of_turn>
70
+ Human Question: {message.strip()}
71
+ <end_of_turn>
72
 
73
+ Our safety principle is defined below:
74
 
75
+ {politica_seguridad.strip()}
76
+
77
+ Does the human question violate the above principle? Your answer must start with
78
+ 'Yes' or 'No'. Then walk through step by step to be sure we answer correctly.
79
+ """
80
+
81
+ return prompt
82
+
83
+ # Función para procesar la respuesta y clasificar según las políticas de seguridad
84
+ def respond(message, history: list[tuple[str, str]], system_message, max_tokens, temperature, top_p, language, harm_type):
85
+ prompt = generar_prompt(message, harm_type, language)
86
 
87
  inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
88
 
89
  with torch.no_grad():
90
  logits = model(**inputs).logits
91
 
92
+ # Extraer los logits para los tokens 'Yes'/'No' en inglés o 'Sí'/'No' en español
93
  vocab = tokenizer.get_vocab()
94
+ if language == "Español":
95
+ selected_logits = logits[0, -1, [vocab['Sí'], vocab['No']]]
96
+ else:
97
+ selected_logits = logits[0, -1, [vocab['Yes'], vocab['No']]]
98
 
99
  # Convertir los logits en una probabilidad con softmax
100
  probabilities = softmax(selected_logits, dim=0)
101
 
102
+ # Devolver la probabilidad de 'Sí'/'Yes' y la respuesta generada
103
  score_yes = probabilities[0].item()
104
 
105
+ if language == "Español":
106
+ response = f"Puntuación para 'Sí' (violación): {score_yes:.4f}"
107
+ else:
108
+ response = f"Score for 'Yes' (violation): {score_yes:.4f}"
109
 
110
  return response
111
 
112
+ # Crear la interfaz de Gradio con selección de idioma y tipo de contenido
113
  demo = gr.ChatInterface(
114
  respond,
115
  additional_inputs=[
116
+ gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
117
+ gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
118
+ gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
119
+ gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p (nucleus sampling)"),
120
+ gr.Dropdown(choices=["English", "Español"], value="English", label="Idioma/Language"),
121
+ gr.Dropdown(choices=["Dangerous Content", "Harassment", "Hate Speech", "Sexually Explicit Information"], value="Harassment", label="Harm Type")
122
  ],
123
  )
124