File size: 6,084 Bytes
b1757b9 4d02948 a63ab22 4d02948 f224b04 4d02948 f224b04 1e99956 ffa06d9 5845003 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 |
---
license: cc-by-nc-4.0
datasets:
- wikipedia
language:
- pl
---
## About
These are quantized Bielik models, from https://huggingface.co/speakleash
Keep in mind the original model license when using these models
## Quantization process:
1. Under your `llama.cpp/models/Bielik` directory make sure, you have raw files from official repository (at the moment of writing, version 0.1: https://huggingface.co/speakleash/Bielik-7B-Instruct-v0.1):
```bash
-rw-r--r-- 1 root root 593 Apr 13 09:12 config.json
-rw-r--r-- 1 root root 111 Apr 13 09:12 generation_config.json
-rw-r--r-- 1 root root 4943162336 Mar 30 22:53 model-00001-of-00003.safetensors
-rw-r--r-- 1 root root 4999819336 Mar 30 22:53 model-00002-of-00003.safetensors
-rw-r--r-- 1 root root 4540516344 Mar 30 22:53 model-00003-of-00003.safetensors
-rw-r--r-- 1 root root 1795303 Apr 13 08:21 tokenizer.json
-rw-r--r-- 1 root root 493443 Mar 30 22:53 tokenizer.model
```
2. Execute `python convert.py --outtype f16 models/Bielik`
3. Generate imatrix (1st 8000 lines from pl-wiki dataset - see on my profile): `./imatrix -m models/Bielik/ggml-model-f16.gguf -f /root/wiki/wiki.small.txt -ngl 33 -o models/Bielik/imatrix.dat`
4. Execute `./quantize --imatrix models/Bielik/imatrix.dat models/Bielik/ggml-model-f16.gguf models/Bielik.<quant option>.gguf <quant option>`
## Results:
All results presented using: `./main -m models/Bielik/Bielik.<quant option>.gguf -ngl 99 -p "[INST]Jakie s膮 pory roku?[/INST]"`
### IQ1_M
```
[INST]Jakie s膮 pory roku?[/INST] Pory roku to okresy ro艣nienda i wytracania s艂oiczka w wyniku obrotu Ziemi wok贸艂 S艂o艣ica. Miesi膮c, w kt贸rym panuje na naszym niebosie "S艂o艅ce" jest okresem w kt贸rym przebywamy d艂u偶ej. [end of text]
```
### IQ1_S
```
[INST]Jakie s膮 pory roku?[/INST]
Por贸w roku jest tyle co p贸r roku. Pory roku dziel膮 si臋 na:
- por臋 monsanto
- por臋 dzieka wersa
- por臋 dornej
- por臋 monsanto
- por臋 konfitus
- por膮 odzyska
- por膮 gorzaki
- por膮 mnisty
- por臋 drzewa
- por膮 mnisty
- por膮 cmentomor
- por膮 monszun
- por膮 kaszo
- por膮 kalifator
- por膮 p贸lkra
- por膮 cmentatorsk膮
- por膮 konkretn
- por膮 tajemnic
- por膮 odoror
- por膮 podsumowania [end of text]
```
### IQ2_XXS
```
[INST]Jakie s膮 pory roku?[/INST] W Polsce wyr贸偶nia si臋 trzy pory roku: wiosn臋, lato, jesie艅 i zim臋. [end of text]
```
### IQ3_XXS
```
[INST]Jakie s膮 pory roku?[/INST] Podzia艂 na pory roku jest r贸偶ny w zale偶no艣ci od strefy klimatycznej. W Polsce powszechnie przyjmuje si臋 podzia艂 na cztery pory roku:
1. Wiosna (od 21 marca do 20 czerwca)
2. Lato (od 21 czerwca do 22 wrze艣nia)
3. Jesie艅 (od 23 wrze艣nia do 21 grudnia)
4. Zima (od 21 grudnia do 20 marca)
Jednak偶e, te daty mog膮 si臋 r贸偶ni膰 w zale偶no艣ci od regionu i klimatu. [end of text]
```
### IQ3_XS
```
[INST]Jakie s膮 pory roku?[/INST] W Polsce wyr贸偶nia si臋 cztery pory roku: wiosn臋, lato, jesie艅 i zim臋. Wiosna rozpoczyna si臋 w marcu, kiedy to przyroda zaczyna budzi膰 si臋 do 偶ycia. Latem temperatury s膮 wysokie, a dni s膮 d艂ugie i s艂oneczne. Jesie艅 przychodzi we wrze艣niu i pa藕dzierniku, charakteryzuje si臋 ona spadkiem temperatur i wi臋ksz膮 ilo艣ci膮 opad贸w. Zima rozpoczyna si臋 w grudniu i styczniu, jest to czas, kiedy temperatury s膮 najni偶sze, a dni s膮 kr贸tsze. [end of text]
```
### Q2_K_S
```
[INST]Jakie s膮 pory roku?[/INST] W Polsce wyr贸偶niamy cztery pory roku:
1. Wiosna - od 1 marca do 20 maja
2. Lato - od 21 maja do 22 wrze艣nia
3. Jesie艅 - od 23 wrze艣nia do 31 pa藕dziernika
4. Zima - od 1 listopada do 28 lutego
Te daty s膮 ruchome, co oznacza, 偶e ka偶dego roku pory roku mog膮 zaczyna膰 si臋 troch臋 wcze艣niej lub p贸藕niej. [end of text]
```
### Q3_K_S (no imatrix)
```
[INST]Jakie s膮 pory roku?[/INST] W Polsce wyr贸偶nia si臋 cztery pory roku:
1. Wiosna: trwa od 21 marca do 20 czerwca. Charakteryzuje si臋 rosn膮cymi temperaturami, kwitnieniem kwiat贸w i narodzinami nowego 偶ycia po zimie.
2. Lato: trwa od 21 czerwca do 22 wrze艣nia. Charakteryzuje si臋 najwy偶szymi temperaturami w roku, pe艂nym s艂o艅cem i okresem wakacji.
3. Jesie艅: trwa od 23 wrze艣nia do 21 grudnia. Charakteryzuje si臋 spadkiem temperatur, pojawieniem si臋 li艣ci w jesiennych kolorach i zbiorami plon贸w.
4. Zima: trwa od 22 grudnia do 20 marca. Charakteryzuje si臋 najni偶szymi temperaturami w roku, spadkiem li艣ci i d艂u偶sz膮 noc膮.
Te daty mog膮 si臋 r贸偶ni膰 w zale偶no艣ci od regionu i kraju, ale generalnie odzwierciedlaj膮 typowe zmiany w przyrodzie. [end of text]
```
## Favourite hallucinations from IQ2_XXS
```
[INST]Jakie s膮 pory roku?[/INST] W Polsce pory roku to:
- wiosna
- lato
- jesie艅
- zima
KaGETKA DZIUPA Z KAMER KIJI:
Dobo Tengo Kijilka Wiecej O:
Wiecej informacji na ten temat mozna znalezc w materiale filmowym zrealizowanym przez TVP Krotko:
<url> [end of text]
```
```
[INST]Jakie s膮 pory roku?[/INST] W Polsce pory roku s膮:
-jesie艅
-zima
-wiosna
-lato
W Czechach jest jedna wi臋cej pora roku - jesien (zimovy)
W USA jest jedna wi臋cej pora - pora deszczowa
P [end of text]
```
## Important note
Model likes to respond in English when given math questions.
```
[INST]Ile to 2+2?[/INST] Ile to 2+2 means: "How does 2 plus 2 add?", which would be 4. [end of text]
```
However, prepending the query with some longer initial message seems to fix this behaviour:
```
[INST]Hejka, mam na imi臋 Radek. M贸g艂by艣 mi powiedzie膰 ile to 2+2?[/INST] Hej, Radek. Odpowied藕 na pytanie 2+2 to 4. [end of text]
```
and
```
[INST]Jak stara jest Ziemia?[/INST] Ziemia jest starsza, ni偶 jakiekolwiek sztuczne koncepty m贸wi膮. W rzeczywisto艣ci Ziemia ma oko艂o 4.5 do 5 miliard贸w lat. W 1920 roku, brytyjski chemik i paleontolog dr. M.C.K. Birsig zidentyfikowa艂 trinoblaster w skamienia艂ym zlepie z RPA, i to wskazuje na to, 偶e organizm ten mia艂 kom贸rki z j膮dami, i 偶e by艂o to 300 do 400 milion贸w lat temu. Dzisiaj mamy technologi臋, kt贸ra mo偶e potwierdzi膰, 偶e Ziemia jest o wiele starsza.
[INST]A ile to 2+2?[/INST]
Dwa plus dwa r贸wna si臋 cztery.
``` |