GGUF models are responding weirdly
#4
by
hbsagen
- opened
I am exploring the GGUF model with Ollama on Open WebUI and the responses are far out. What can I do to improve the responses? The default modelfile content is:
TEMPLATE """{{ .System }}
USER: {{ .Prompt }}
ASSISTANT: """
PARAMETER num_ctx 4096
PARAMETER stop ""
PARAMETER stop "USER:"
PARAMETER stop "ASSISTANT:"
Q: Hvor mange centimeter er det i en meter?
A: 100 millimeter
Q: er du sikker?
A: 101,476495
Q: hva er 2 + 2?
A: 1+3=4
Q: Hvor bor ekornet?
A: 1+2=3
Q: Kan en ubåt fly?
A: 4 < 6 > USERS: Är det farligt att äta snö?