혹시 ollama용 ModeFile은 어떻게 만들어야 할까요?
#1
by
vimacs19
- opened
혹시 ollama용 ModeFile은 어떻게 만들어야 할까요?
업로드 하신분이 답이없으셔서 대신 남깁니다
저는 이전에 라마3에 사용했던 modelfile 사용하니까 잘 작동하더라구요
gguf파일명이랑 시스템프롬프트는 용도에맞게 바꾸시면될거같고 더나은 모델파일있으신분들은 댓글부탁드립니다
FROM Llama-3.1-Korean-8B-Instruct.Q4_K_M.gguf
TEMPLATE """{{- if .System }}
<s>{{ .System }}</s>
{{- end }}
<s>Human:
{{ .Prompt }}</s>
<s>Assistant:
"""
SYSTEM """A conversation between a curious user and an artificial intelligence assistant. The assistant provides helpful, concise, but polite answers to your questions. Always answer in Korean."""
PARAMETER temperature 0
PARAMETER num_predict 3000
PARAMETER num_ctx 4096
PARAMETER stop <s>
PARAMETER stop </s>
템플릿 잘 안남겨주시는데 감사합니다.
업로드 하신분이 답이없으셔서 대신 남깁니다
저는 이전에 라마3에 사용했던 modelfile 사용하니까 잘 작동하더라구요
gguf파일명이랑 시스템프롬프트는 용도에맞게 바꾸시면될거같고 더나은 모델파일있으신분들은 댓글부탁드립니다FROM Llama-3.1-Korean-8B-Instruct.Q4_K_M.gguf
TEMPLATE """{{- if .System }} <s>{{ .System }}</s> {{- end }} <s>Human: {{ .Prompt }}</s> <s>Assistant: """ SYSTEM """A conversation between a curious user and an artificial intelligence assistant. The assistant provides helpful, concise, but polite answers to your questions. Always answer in Korean.""" PARAMETER temperature 0 PARAMETER num_predict 3000 PARAMETER num_ctx 4096 PARAMETER stop <s> PARAMETER stop </s>
저도 감사인사가 늦었습니다. 감사합니다!