apepkuss79 commited on
Commit
f24f6a2
·
verified ·
1 Parent(s): 2989685

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +20 -8
README.md CHANGED
@@ -65,13 +65,25 @@ tags:
65
 
66
  - Run as LlamaEdge service
67
 
68
- ```bash
69
- wasmedge --dir .:. --nn-preload default:GGML:AUTO:Meta-Llama-3.1-8B-Instruct-Q5_K_M.gguf \
70
- llama-api-server.wasm \
71
- --prompt-template llama-3-chat \
72
- --ctx-size 128000 \
73
- --model-name Llama-3.1-8b
74
- ```
 
 
 
 
 
 
 
 
 
 
 
 
75
 
76
  - Run as LlamaEdge command app
77
 
@@ -79,7 +91,7 @@ tags:
79
  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Meta-Llama-3.1-8B-Instruct-Q5_K_M.gguf \
80
  llama-chat.wasm \
81
  --prompt-template llama-3-chat \
82
- --ctx-size 128000 \
83
  ```
84
 
85
  ## Quantized GGUF Models
 
65
 
66
  - Run as LlamaEdge service
67
 
68
+ - Chat
69
+
70
+ ```bash
71
+ wasmedge --dir .:. --nn-preload default:GGML:AUTO:Meta-Llama-3.1-8B-Instruct-Q5_K_M.gguf \
72
+ llama-api-server.wasm \
73
+ --prompt-template llama-3-chat \
74
+ --ctx-size 128000 \
75
+ --model-name Llama-3.1-8b
76
+ ```
77
+
78
+ - Tool use
79
+
80
+ ```bash
81
+ wasmedge --dir .:. --nn-preload default:GGML:AUTO:Meta-Llama-3.1-8B-Instruct-Q5_K_M.gguf \
82
+ llama-api-server.wasm \
83
+ --prompt-template llama-3-tool \
84
+ --ctx-size 128000 \
85
+ --model-name Llama-3.1-8b
86
+ ```
87
 
88
  - Run as LlamaEdge command app
89
 
 
91
  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Meta-Llama-3.1-8B-Instruct-Q5_K_M.gguf \
92
  llama-chat.wasm \
93
  --prompt-template llama-3-chat \
94
+ --ctx-size 128000
95
  ```
96
 
97
  ## Quantized GGUF Models