File size: 951 Bytes
a74136c fdf5d62 a74136c 2e15bce a74136c 8402078 a74136c 7ddb15f a74136c 64bb519 a74136c |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
#!/bin/bash
source /home/user/.wasmedge/env
chat_file_name=$1
embedding_file_name=$2
prompt_template=$3
chat_ctx_size=$4
embedding_ctx_size=$5
if [ -z "$chat_ctx_size" ]; then
chat_ctx_size=8192
fi
if [ -z "$embedding_ctx_size" ]; then
embedding_ctx_size=0
fi
if [ "$embedding_ctx_size" -eq "0" ]; then
wasmedge --dir .:. --env LLAMA_LOG=trace --nn-preload default:GGML:AUTO:/home/user/models/$chat_file_name.gguf llama-api-server.wasm --prompt-template $prompt_template --ctx-size $chat_ctx_size --model-name $chat_file_name ##--socket-addr 0.0.0.0:8080
else
wasmedge --dir .:. --env LLAMA_LOG=trace --nn-preload default:GGML:AUTO:/home/user/models/$chat_file_name --nn-preload embedding:GGML:AUTO:/home/user/models/$embedding_file_name llama-api-server.wasm --prompt-template $prompt_template,embedding --ctx-size $chat_ctx_size,$embedding_ctx_size --model-name $chat_file_name,$embedding_file_name --socket-addr 0.0.0.0:8080
fi |