Update README.md
Browse files
README.md
CHANGED
|
@@ -25,11 +25,11 @@ pipeline_tag: image-text-to-text
|
|
| 25 |
|
| 26 |
## Run with LlamaEdge
|
| 27 |
|
| 28 |
-
- LlamaEdge version: [v0.
|
| 29 |
|
| 30 |
- Prompt template
|
| 31 |
|
| 32 |
-
- Prompt type: `gemma-
|
| 33 |
|
| 34 |
- Prompt string
|
| 35 |
|
|
@@ -49,7 +49,7 @@ pipeline_tag: image-text-to-text
|
|
| 49 |
```bash
|
| 50 |
wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-12b-it-Q5_K_M.gguf \
|
| 51 |
llama-api-server.wasm \
|
| 52 |
-
--prompt-template gemma-
|
| 53 |
--ctx-size 128000 \
|
| 54 |
--model-name gemma-3-12b
|
| 55 |
```
|
|
@@ -61,7 +61,7 @@ pipeline_tag: image-text-to-text
|
|
| 61 |
```bash
|
| 62 |
wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-12b-it-Q5_K_M.gguf \
|
| 63 |
llama-api-server.wasm \
|
| 64 |
-
--prompt-template gemma-
|
| 65 |
--llava-mmproj gemma-3-12b-it-mmproj-f16.gguf \
|
| 66 |
--ctx-size 128000 \
|
| 67 |
--model-name gemma-3-12b
|
|
@@ -73,7 +73,7 @@ pipeline_tag: image-text-to-text
|
|
| 73 |
wasmedge --dir .:. \
|
| 74 |
--nn-preload default:GGML:AUTO:gemma-3-12b-it-Q5_K_M.gguf \
|
| 75 |
llama-chat.wasm \
|
| 76 |
-
--prompt-template gemma-
|
| 77 |
--ctx-size 128000
|
| 78 |
```
|
| 79 |
|
|
|
|
| 25 |
|
| 26 |
## Run with LlamaEdge
|
| 27 |
|
| 28 |
+
- LlamaEdge version: [v0.18.5](https://github.com/LlamaEdge/LlamaEdge/releases/tag/0.18.5) and above
|
| 29 |
|
| 30 |
- Prompt template
|
| 31 |
|
| 32 |
+
- Prompt type: `gemma-3`
|
| 33 |
|
| 34 |
- Prompt string
|
| 35 |
|
|
|
|
| 49 |
```bash
|
| 50 |
wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-12b-it-Q5_K_M.gguf \
|
| 51 |
llama-api-server.wasm \
|
| 52 |
+
--prompt-template gemma-3 \
|
| 53 |
--ctx-size 128000 \
|
| 54 |
--model-name gemma-3-12b
|
| 55 |
```
|
|
|
|
| 61 |
```bash
|
| 62 |
wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-12b-it-Q5_K_M.gguf \
|
| 63 |
llama-api-server.wasm \
|
| 64 |
+
--prompt-template gemma-3 \
|
| 65 |
--llava-mmproj gemma-3-12b-it-mmproj-f16.gguf \
|
| 66 |
--ctx-size 128000 \
|
| 67 |
--model-name gemma-3-12b
|
|
|
|
| 73 |
wasmedge --dir .:. \
|
| 74 |
--nn-preload default:GGML:AUTO:gemma-3-12b-it-Q5_K_M.gguf \
|
| 75 |
llama-chat.wasm \
|
| 76 |
+
--prompt-template gemma-3 \
|
| 77 |
--ctx-size 128000
|
| 78 |
```
|
| 79 |
|