apepkuss79 commited on
Commit
1f3eada
1 Parent(s): 8204c7c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +8 -18
README.md CHANGED
@@ -29,11 +29,11 @@ language:
29
 
30
  - LlamaEdge version: coming soon
31
 
32
- <!-- - LlamaEdge version: [v0.14.0](https://github.com/LlamaEdge/LlamaEdge/releases/tag/0.14.0) and above
33
 
34
  - Prompt template
35
 
36
- - Prompt type: `llama-3-chat`
37
 
38
  - Prompt string
39
 
@@ -50,19 +50,9 @@ language:
50
  ```bash
51
  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Breeze-7B-Instruct-v1_0-Q5_K_M.gguf \
52
  llama-api-server.wasm \
53
- --prompt-template llama-3-chat \
54
- --ctx-size 128000 \
55
- --model-name Llama-3.1-8b
56
- ```
57
-
58
- - Tool use
59
-
60
- ```bash
61
- wasmedge --dir .:. --nn-preload default:GGML:AUTO:Breeze-7B-Instruct-v1_0-Q5_K_M.gguf \
62
- llama-api-server.wasm \
63
- --prompt-template llama-3-tool \
64
- --ctx-size 128000 \
65
- --model-name Llama-3.1-8b
66
  ```
67
 
68
  - Run as LlamaEdge command app
@@ -70,9 +60,9 @@ language:
70
  ```bash
71
  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Breeze-7B-Instruct-v1_0-Q5_K_M.gguf \
72
  llama-chat.wasm \
73
- --prompt-template llama-3-chat \
74
- --ctx-size 128000
75
- ``` -->
76
 
77
  ## Quantized GGUF Models
78
 
 
29
 
30
  - LlamaEdge version: coming soon
31
 
32
+ <!-- - LlamaEdge version: [v0.14.0](https://github.com/LlamaEdge/LlamaEdge/releases/tag/0.14.0) and above -->
33
 
34
  - Prompt template
35
 
36
+ - Prompt type: `mediatek-breeze`
37
 
38
  - Prompt string
39
 
 
50
  ```bash
51
  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Breeze-7B-Instruct-v1_0-Q5_K_M.gguf \
52
  llama-api-server.wasm \
53
+ --prompt-template mediatek-breeze \
54
+ --ctx-size 8000 \
55
+ --model-name breeze-7b
 
 
 
 
 
 
 
 
 
 
56
  ```
57
 
58
  - Run as LlamaEdge command app
 
60
  ```bash
61
  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Breeze-7B-Instruct-v1_0-Q5_K_M.gguf \
62
  llama-chat.wasm \
63
+ --prompt-template mediatek-breeze \
64
+ --ctx-size 8000
65
+ ```
66
 
67
  ## Quantized GGUF Models
68