README.md

metadata

language:
  - sv
license: apache-2.0
tags:
  - merge
base_model:
  - timpal0l/Mistral-7B-v0.1-flashback-v2-instruct
  - Equall/Saul-Instruct-v1
pipeline_tag: text-generation

How to use:

from transformers import pipeline
pipe = pipeline("text-generation", "timpal0l/tyr", device="cuda:0")

response = pipe("USER:Vad är grundlagen?ASSISTANT:", max_length=512, temperature=1.0)
print(response[0]["generated_text"].split("ASSISTANT: ")[1])

>>> "Grundlagen är en samling av grundläggande lagar som reglerar den politiska strukturen och funktionen av en nation.
Den innehåller de grundläggande principer och regler som styr en nations politiska system, inklusive rättigheter och skyldigheter av medborgare,
struktur och funktion av regeringen, och relationer mellan olika politiska organ.
Grundlagen kan också inkludera de grundläggande värderingarna och principer som en nation står för."

This model is a merge of timpal0l/Mistral-7B-v0.1-flashback-v2-instruct and Equall/Saul-Instruct-v1.

config.yaml

models:
  - model: timpal0l/Mistral-7B-v0.1-flashback-v2-instruct
    # No parameters necessary for base model
  - model: Equall/Saul-Instruct-v1
    parameters:
      density: 0.53
      weight: 0.6
merge_method: dare_ties
base_model: timpal0l/Mistral-7B-v0.1-flashback-v2-instruct
parameters:
  int8_mask: true
dtype: bfloat16