Update run.sh
Browse files
run.sh
CHANGED
@@ -17,7 +17,7 @@ if [ -z "$embedding_ctx_size" ]; then
|
|
17 |
fi
|
18 |
|
19 |
if [ "$embedding_ctx_size" -eq "0" ]; then
|
20 |
-
wasmedge --dir .:. --env LLAMA_LOG=trace --nn-preload default:GGML:AUTO:/home/user/models/$chat_file_name.gguf llama-api-server.wasm --prompt-template $prompt_template --ctx-size $chat_ctx_size --model-name $chat_file_name
|
21 |
else
|
22 |
wasmedge --dir .:. --env LLAMA_LOG=trace --nn-preload default:GGML:AUTO:/home/user/models/$chat_file_name --nn-preload embedding:GGML:AUTO:/home/user/models/$embedding_file_name llama-api-server.wasm --prompt-template $prompt_template,embedding --ctx-size $chat_ctx_size,$embedding_ctx_size --model-name $chat_file_name,$embedding_file_name --socket-addr 0.0.0.0:8080
|
23 |
fi
|
|
|
17 |
fi
|
18 |
|
19 |
if [ "$embedding_ctx_size" -eq "0" ]; then
|
20 |
+
wasmedge --dir .:. --env LLAMA_LOG=trace --nn-preload default:GGML:AUTO:/home/user/models/$chat_file_name.gguf llama-api-server.wasm --prompt-template $prompt_template --ctx-size $chat_ctx_size --model-name $chat_file_name ##--socket-addr 0.0.0.0:8080
|
21 |
else
|
22 |
wasmedge --dir .:. --env LLAMA_LOG=trace --nn-preload default:GGML:AUTO:/home/user/models/$chat_file_name --nn-preload embedding:GGML:AUTO:/home/user/models/$embedding_file_name llama-api-server.wasm --prompt-template $prompt_template,embedding --ctx-size $chat_ctx_size,$embedding_ctx_size --model-name $chat_file_name,$embedding_file_name --socket-addr 0.0.0.0:8080
|
23 |
fi
|