Update README.md
Browse files
README.md
CHANGED
@@ -26,34 +26,8 @@ It is a full finetune for one epoch.
|
|
26 |
* Original model [**Here**](https://huggingface.co/timpal0l/Mistral-7B-v0.1-flashback-v2)
|
27 |
|
28 |
## How to use:
|
29 |
-
```
|
30 |
-
|
31 |
-
from transformers import AutoTokenizer, AutoModelForCausalLM
|
32 |
-
|
33 |
-
model_name = "timpal0l/Mistral-7B-v0.1-flashback-v2"
|
34 |
-
device = "cuda:0" if torch.cuda.is_available() else "cpu"
|
35 |
-
|
36 |
-
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
37 |
-
model = AutoModelForCausalLM.from_pretrained(model_name)
|
38 |
-
model.eval()
|
39 |
-
model.to(device)
|
40 |
-
|
41 |
-
prompt = "Idag är det den bästa"
|
42 |
-
input_ids = tokenizer(prompt, return_tensors="pt")["input_ids"].to(device)
|
43 |
-
|
44 |
-
generated_token_ids = model.generate(
|
45 |
-
inputs=input_ids,
|
46 |
-
max_new_tokens=256,
|
47 |
-
do_sample=True,
|
48 |
-
temperature=0.8,
|
49 |
-
top_p=1,
|
50 |
-
)[0]
|
51 |
-
|
52 |
-
generated_text = tokenizer.decode(generated_token_ids)
|
53 |
-
generated_text
|
54 |
-
```
|
55 |
-
```
|
56 |
-
<s> Idag är det den bästa dagen i hela veckan, för nu tar det slut!\n\n>! Gnällfesten!\n\nJag sitter här, oerhört förvirrad, och försöker förstå varför vi ens måste fortsätta att existera efter döden. Jag menar, jag förstår ju egentligen att det aldrig kan ta slut, eller inte "ta slut" i den bemärkelsen att materian försvinner, men det är inte det jag pratar om.\n\nDöden, det faktum att man dör och aldrig kan uppleva livet igen. Det som är liv och ger livet en mening, det försvinner i döden. Och sen börjas det om, om och om igen. Varför behöver vi så många liv? Vi är ju inte ens medvetna av att vi någonsin har levt, så varför ska vi komma hit och bli medvetna hela tiden?\n\nDet här är en sådan fråga som jag aldrig kan få
|
57 |
```
|
58 |
## Data Format:
|
59 |
To mimic the data format used in pre-training it has the following structure:
|
|
|
26 |
* Original model [**Here**](https://huggingface.co/timpal0l/Mistral-7B-v0.1-flashback-v2)
|
27 |
|
28 |
## How to use:
|
29 |
+
```bash
|
30 |
+
ollama run timpal0l/mistral-swedish-flashback "Hejsan!"
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
31 |
```
|
32 |
## Data Format:
|
33 |
To mimic the data format used in pre-training it has the following structure:
|