mmnga commited on
Commit
245c650
·
verified ·
1 Parent(s): 91c697a

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +28 -0
README.md CHANGED
@@ -1,3 +1,31 @@
1
  ---
2
  license: gemma
 
 
 
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  license: gemma
3
+ license_name: gemma-terms-of-use
4
+ license_link: https://www.kaggle.com/models/google/gemma/license/consent
5
+ language:
6
+ - en
7
+ - ja
8
  ---
9
+ # gemma-1.1-7b-it-gguf
10
+ [googleさんが公開しているgemma-1.1-7b-it](https://huggingface.co/google/gemma-1.1-7b-it)のggufフォーマット変換版です。
11
+
12
+ **現在量子化された出力が不安定な問題があるらしくQ8_0を推奨します。**
13
+ [gemma : token_embd.weight テンソルに Q8_0 を使用します #5650](https://github.com/ggerganov/llama.cpp/pull/5650)
14
+
15
+ # Licence
16
+ [gemma-terms-of-use 利用規約](https://ai.google.dev/gemma/terms)をご利用前に必ずご確認ください。
17
+
18
+ # 他のモデル
19
+ [mmnga/gemma-2b-it-gguf](https://huggingface.co/mmnga/gemma-2b-it-gguf)
20
+ [mmnga/gemma-7b-it-gguf](https://huggingface.co/mmnga/gemma-7b-it-gguf)
21
+ [mmnga/gemma-1.1-7b-it-gguf](https://huggingface.co/mmnga/gemma-1.1-7b-it-gguf)  
22
+
23
+ ## Usage
24
+
25
+ ```
26
+ git clone https://github.com/ggerganov/llama.cpp.git
27
+ cd llama.cpp
28
+ make -j
29
+ ./main -m 'gemma-1.1-7b-it-q4_0.gguf' -p "<start_of_turn>user\n日本の文化を10個教えて。<end_of_turn>\n<start_of_turn>model\n" -n 128
30
+ ```
31
+