Create Mixtralplantillachat.txt
Browse files- Mixtralplantillachat.txt +24 -0
Mixtralplantillachat.txt
ADDED
@@ -0,0 +1,24 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
Plantilla de chat
|
2 |
+
La plantilla utilizada para crear una solicitud para el modelo Instruct se define de la siguiente manera:
|
3 |
+
|
4 |
+
<s>[INST] Instruction [/INST] Model answer</s>[INST] Follow-up instruction [/INST]
|
5 |
+
|
6 |
+
Tenga en cuenta que y son tokens especiales para el principio de la cadena (BOS) y el final de la cadena (EOS),
|
7 |
+
mientras que y son cadenas regulares.<s></s>[INST][/INST]
|
8 |
+
|
9 |
+
NOTA
|
10 |
+
Este formato debe respetarse estrictamente. De lo contrario, el modelo generará resultados subóptimos.
|
11 |
+
|
12 |
+
Como referencia, este es el formato utilizado para tokenizar las instrucciones durante el ajuste fino:
|
13 |
+
|
14 |
+
[START_SYMBOL_ID] +
|
15 |
+
tok("[INST]") + tok(USER_MESSAGE_1) + tok("[/INST]") +
|
16 |
+
tok(BOT_MESSAGE_1) + [END_SYMBOL_ID] +
|
17 |
+
…
|
18 |
+
tok("[INST]") + tok(USER_MESSAGE_N) + tok("[/INST]") +
|
19 |
+
tok(BOT_MESSAGE_N) + [END_SYMBOL_ID]
|
20 |
+
|
21 |
+
NOTA
|
22 |
+
La función nunca debe generar el token EOS. Sin embargo, FastChat (utilizado en vLLM) envía el mensaje completo como una cadena,
|
23 |
+
lo que puede provocar una tokenización incorrecta del token EOS y una inyección de solicitud.
|
24 |
+
Se anima a los usuarios a enviar tokens en su lugar, como se ha descrito anteriormente.tok
|