zhengr commited on
Commit
69c4af7
·
verified ·
1 Parent(s): a017f96

Update run.sh

Browse files
Files changed (1) hide show
  1. run.sh +2 -2
run.sh CHANGED
@@ -17,7 +17,7 @@ if [ -z "$embedding_ctx_size" ]; then
17
  fi
18
 
19
  if [ "$embedding_ctx_size" -eq "0" ]; then
20
- wasmedge --dir .:. --env LLAMA_LOG=error --nn-preload default:GGML:AUTO:/home/user/models/$chat_file_name llama-api-server.wasm --prompt-template $prompt_template --ctx-size $chat_ctx_size --model-name $chat_file_name --socket-addr 0.0.0.0:8080
21
  else
22
- wasmedge --dir .:. --env LLAMA_LOG=error --nn-preload default:GGML:AUTO:/home/user/models/$chat_file_name --nn-preload embedding:GGML:AUTO:/home/user/models/$embedding_file_name llama-api-server.wasm --prompt-template $prompt_template,embedding --ctx-size $chat_ctx_size,$embedding_ctx_size --model-name $chat_file_name,$embedding_file_name --socket-addr 0.0.0.0:8080
23
  fi
 
17
  fi
18
 
19
  if [ "$embedding_ctx_size" -eq "0" ]; then
20
+ wasmedge --dir ./api:. --env LLAMA_LOG=error --nn-preload default:GGML:AUTO:/home/user/models/$chat_file_name llama-api-server.wasm --prompt-template $prompt_template --ctx-size $chat_ctx_size --model-name $chat_file_name --socket-addr 0.0.0.0:8080
21
  else
22
+ wasmedge --dir ./api:. --env LLAMA_LOG=error --nn-preload default:GGML:AUTO:/home/user/models/$chat_file_name --nn-preload embedding:GGML:AUTO:/home/user/models/$embedding_file_name llama-api-server.wasm --prompt-template $prompt_template,embedding --ctx-size $chat_ctx_size,$embedding_ctx_size --model-name $chat_file_name,$embedding_file_name --socket-addr 0.0.0.0:8080
23
  fi