Create README.md

README.md

@@ -0,0 +1,77 @@
+---
+language:
+- sv
+- da
+- 'no'
+tags:
+- pytorch
+- llama
+- llama-3
+- ai-sweden
+base_model: AI-Sweden-Models/Llama-3-8B
+pipeline_tag: text-generation
+inference:
+  parameters:
+    temperature: 0.6
+    
+---
+
+# QuantFactory/AI-Sweden-Llama-3-8B-GGUF (checkpoint-11525)
+This is quantized vresion of [AI-Sweden-Models/Llama-3-8B](https://huggingface.co/AI-Sweden-Models/Llama-3-8B) created suing llama.cpp
+
+# Model Description
+
+### Intended usage:
+This is a base model, it can be finetuned to a particular use case.
+
+[**-----> instruct version here <-----**](https://huggingface.co/AI-Sweden-Models/Llama-3-8B-instruct)
+
+### Use with transformers
+
+See the snippet below for usage with Transformers:
+
+```python
+import transformers
+import torch
+
+model_id = "AI-Sweden-Models/Llama-3-8B"
+
+pipeline = transformers.pipeline(
+    task="text-generation",
+    model=model_id,
+    model_kwargs={"torch_dtype": torch.bfloat16},
+    device_map="auto"
+)
+
+pipeline(
+    text_inputs="Sommar och sol är det bästa jag vet",
+    max_length=128,
+    repetition_penalty=1.03
+)
+```
+```python
+>>> "Sommar och sol är det bästa jag vet!
+Och nu när jag har fått lite extra semester så ska jag njuta till max av allt som våren och sommaren har att erbjuda.
+Jag har redan börjat med att sitta ute på min altan och ta en kopp kaffe och läsa i tidningen, det är så skönt att bara sitta där och njuta av livet.
+
+Ikväll blir det grillat och det ser jag fram emot!"
+```
+## Training information
+
+`AI-Sweden-Models/Llama-3-8B` is a continuation of the pretraining process from `meta-llama/Meta-Llama-3-8B`. 
+It was trained on a subset from [The Nordic Pile](https://arxiv.org/abs/2303.17183) containing Swedish, Norwegian and Danish.
+
+The training dataset consists of 227 105 079 296 tokens.
+
+## Benchmarks 
+
+Coming soon.
+
+## Checkpoints
+* 03/6/2024 (11525)
+* 29/5/2024 (8200)
+* 26/5/2024 (6550)
+* 24/5/2024 (5325)
+* 22/5/2024 (3900)
+* 20/5/2024 (2700)
+* 13/5/2024 (1500)