Modelfile

FROM ./BlackSheep-Llama3.2-5B-Q4_K_M.gguf

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 7.0
PARAMETER num_ctx 4096
# PARAMETER num_gpu 42
# PARAMETER num_thread 2
PARAMETER stop "</s>"
PARAMETER stop "<s>"
PARAMETER stop "<br/>"
PARAMETER stop "<br>"
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|end|>"
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|`end `|>"
PARAMETER stop "<|` end `|>"
PARAMETER stop "<|` end`|>"
PARAMETER stop "<|endoftext|>"
PARAMETER stop "<|`EndBlackSheepText `|>"
PARAMETER stop "<|End|>"
PARAMETER stop "<|End>"
PARAMETER stop "<|End"
PARAMETER stop "<|"
PARAMETER stop "\n\n\n"
PARAMETER stop "BEGININPUT" 
PARAMETER stop "ENDINPUT" 
PARAMETER stop "BEGINCONTEXT" 
PARAMETER stop "ENDCONTEXT" 
PARAMETER stop "BEGININSTRUCTION"
PARAMETER stop "ENDINSTRUCTION"
PARAMETER stop "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request."
PARAMETER stop "### Input:"
PARAMETER stop "### Instruction"
PARAMETER num_predict -2

PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"
PARAMETER stop "<|system|>"
PARAMETER stop " \`\`\` "

PARAMETER stop "**Context:**"
PARAMETER stop "**Request:**"

PARAMETER seed 666
PARAMETER tfs_z 2
PARAMETER top_k 42
PARAMETER top_p 24
PARAMETER min_p 0.6

TEMPLATE """
{{ if .Prompt }}
{{ .Prompt }}{{ end }}
**Response:**
{{ .Response }}
"""