zhengr commited on
Commit
7ddb15f
·
verified ·
1 Parent(s): 9784d17

Update run.sh

Browse files
Files changed (1) hide show
  1. run.sh +1 -1
run.sh CHANGED
@@ -17,7 +17,7 @@ if [ -z "$embedding_ctx_size" ]; then
17
  fi
18
 
19
  if [ "$embedding_ctx_size" -eq "0" ]; then
20
- wasmedge --dir .:. --env LLAMA_LOG=trace --nn-preload default:GGML:AUTO:/home/user/models/$chat_file_name.gguf llama-api-server.wasm --prompt-template $prompt_template --ctx-size $chat_ctx_size --model-name $chat_file_name --socket-addr 0.0.0.0:8080
21
  else
22
  wasmedge --dir .:. --env LLAMA_LOG=trace --nn-preload default:GGML:AUTO:/home/user/models/$chat_file_name --nn-preload embedding:GGML:AUTO:/home/user/models/$embedding_file_name llama-api-server.wasm --prompt-template $prompt_template,embedding --ctx-size $chat_ctx_size,$embedding_ctx_size --model-name $chat_file_name,$embedding_file_name --socket-addr 0.0.0.0:8080
23
  fi
 
17
  fi
18
 
19
  if [ "$embedding_ctx_size" -eq "0" ]; then
20
+ wasmedge --dir .:. --env LLAMA_LOG=trace --nn-preload default:GGML:AUTO:/home/user/models/$chat_file_name.gguf llama-api-server.wasm --prompt-template $prompt_template --ctx-size $chat_ctx_size --model-name $chat_file_name ##--socket-addr 0.0.0.0:8080
21
  else
22
  wasmedge --dir .:. --env LLAMA_LOG=trace --nn-preload default:GGML:AUTO:/home/user/models/$chat_file_name --nn-preload embedding:GGML:AUTO:/home/user/models/$embedding_file_name llama-api-server.wasm --prompt-template $prompt_template,embedding --ctx-size $chat_ctx_size,$embedding_ctx_size --model-name $chat_file_name,$embedding_file_name --socket-addr 0.0.0.0:8080
23
  fi