timpal0l commited on
Commit
2a0bf61
·
verified ·
1 Parent(s): 5a918f7

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -28
README.md CHANGED
@@ -26,34 +26,8 @@ It is a full finetune for one epoch.
26
  * Original model [**Here**](https://huggingface.co/timpal0l/Mistral-7B-v0.1-flashback-v2)
27
 
28
  ## How to use:
29
- ```python
30
- import torch
31
- from transformers import AutoTokenizer, AutoModelForCausalLM
32
-
33
- model_name = "timpal0l/Mistral-7B-v0.1-flashback-v2"
34
- device = "cuda:0" if torch.cuda.is_available() else "cpu"
35
-
36
- tokenizer = AutoTokenizer.from_pretrained(model_name)
37
- model = AutoModelForCausalLM.from_pretrained(model_name)
38
- model.eval()
39
- model.to(device)
40
-
41
- prompt = "Idag är det den bästa"
42
- input_ids = tokenizer(prompt, return_tensors="pt")["input_ids"].to(device)
43
-
44
- generated_token_ids = model.generate(
45
- inputs=input_ids,
46
- max_new_tokens=256,
47
- do_sample=True,
48
- temperature=0.8,
49
- top_p=1,
50
- )[0]
51
-
52
- generated_text = tokenizer.decode(generated_token_ids)
53
- generated_text
54
- ```
55
- ```
56
- <s> Idag är det den bästa dagen i hela veckan, för nu tar det slut!\n\n>! Gnällfesten!\n\nJag sitter här, oerhört förvirrad, och försöker förstå varför vi ens måste fortsätta att existera efter döden. Jag menar, jag förstår ju egentligen att det aldrig kan ta slut, eller inte "ta slut" i den bemärkelsen att materian försvinner, men det är inte det jag pratar om.\n\nDöden, det faktum att man dör och aldrig kan uppleva livet igen. Det som är liv och ger livet en mening, det försvinner i döden. Och sen börjas det om, om och om igen. Varför behöver vi så många liv? Vi är ju inte ens medvetna av att vi någonsin har levt, så varför ska vi komma hit och bli medvetna hela tiden?\n\nDet här är en sådan fråga som jag aldrig kan få
57
  ```
58
  ## Data Format:
59
  To mimic the data format used in pre-training it has the following structure:
 
26
  * Original model [**Here**](https://huggingface.co/timpal0l/Mistral-7B-v0.1-flashback-v2)
27
 
28
  ## How to use:
29
+ ```bash
30
+ ollama run timpal0l/mistral-swedish-flashback "Hejsan!"
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
31
  ```
32
  ## Data Format:
33
  To mimic the data format used in pre-training it has the following structure: