File size: 1,130 Bytes
fad339c |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
Plantilla de chat
La plantilla utilizada para crear una solicitud para el modelo Instruct se define de la siguiente manera:
<s>[INST] Instruction [/INST] Model answer</s>[INST] Follow-up instruction [/INST]
Tenga en cuenta que y son tokens especiales para el principio de la cadena (BOS) y el final de la cadena (EOS),
mientras que y son cadenas regulares.<s></s>[INST][/INST]
NOTA
Este formato debe respetarse estrictamente. De lo contrario, el modelo generará resultados subóptimos.
Como referencia, este es el formato utilizado para tokenizar las instrucciones durante el ajuste fino:
[START_SYMBOL_ID] +
tok("[INST]") + tok(USER_MESSAGE_1) + tok("[/INST]") +
tok(BOT_MESSAGE_1) + [END_SYMBOL_ID] +
…
tok("[INST]") + tok(USER_MESSAGE_N) + tok("[/INST]") +
tok(BOT_MESSAGE_N) + [END_SYMBOL_ID]
NOTA
La función nunca debe generar el token EOS. Sin embargo, FastChat (utilizado en vLLM) envía el mensaje completo como una cadena,
lo que puede provocar una tokenización incorrecta del token EOS y una inyección de solicitud.
Se anima a los usuarios a enviar tokens en su lugar, como se ha descrito anteriormente.tok |