---
base_model: []
library_name: transformers
tags:
- mergekit
- merge

---

# Antler 7B Evolve

<img src="https://huggingface.co/Elizezen/Antler-7B/resolve/main/OIG3.UAjshTXCEJU.jpg" alt="drawing" style="width:512px;"/>

## Model Description

This is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit), using **Evolutionary Model Merging**.

Generally better than Antler-7B at writing novels, especially at maintaining the context, but it can fall short for eroticness compared to the original model.

## Example

### Input

```
その日の昼下がり。私とあやはお揃いの浴衣を身に纏い、冬祭りを楽しむために町へと繰り出していた。むろん、忍者の素性を隠すために皆変装している。
普段着慣れない服装のため少々落ち着かないものの、帯が緩んだり着崩れしないよう意識しながら歩く。するとあやも同じようにぎこちなく歩いているのが分かった。
やがて街並みは活気に満ち始め、道行く人々の賑やかな声が聞こえてくる。
広場に到着すると、そこは大勢の人々でにぎわい、色とりどりの提灯が辺りを照らしていた。様々な出店が並び、大勢の子供達とその親御さんが駆け回っている。
広場の中央付近にある舞台では催し物が開催されており、太鼓の音に合わせて歌っている演者たちがいた。
「わぁ～、きれい！」
目を輝かせて辺りを見回すあや。こうしてみると年相応の子どもに見える。
「こら、勝手に走り回らない」
「えへへ～ごめんなさい」
たしなめられながらも、顔は綻んでいる様子からも分かる通り、彼女も楽しみにしているのは明らかだろう。
あやが楽しそうだと、私も嬉しい。不思議なものだな。今までこんな気持ちになったことはなかった。
思わず私まで笑顔になってしまう。
「このちゃん、このちゃん！見て！このちょうちん可愛い～！」
「おお」
彼女に袖を引かれて連れて行かれたのは、可愛らしい動物の絵柄があしらわれた行燈。どうやら売店が出しているらしい。
屋台では
```

### Output

```
屋台では焼きそばや焼き鳥などの定番と並んで、冬限定の鍋専門店なども出ていた。
「あやはなにか食べたいものあるか？」
「えっとね～、お好み焼きとか……」
「お好み焼き？」
私は初めて聞く料理名に首を傾げる。あやは目をキラキラさせながら、その料理について説明してくれた。
小麦粉の生地にキャベツや豚肉、天かす、そしてお好み焼きソースをかけて焼いた、大阪名物の料理らしい。
「それはまた面白そうなものだな。ではそこの屋台に行ってみよう」
私達は目星をつけた屋台へ向かうことにした。
お好み焼きの屋台は、予想以上の盛況ぶりで行列ができていた。しかし、並ぶこと30分ほどで私たちの番がやってくる。
「おばちゃん、これください」
「あいよ！ちょっと待ってな！」
屋台のおばちゃんは威勢のいい声で返事をすると、手慣れた様子で鉄板の上でお好み焼きを焼き上げる。
「これがお好み焼きだよ」
出来上がったお好み焼きを手にしたあやが、うっとりとした様子でそう言った。
「ほう。見るからに美味しそうだ」
私もその色合いに誘われるようにして、一口頬
```

### Intended Use

The model is mainly intended to be used for generating novels. It may not be so capable with instruction-based responses.


## Merge Details
### Merge Method

This model was merged using the [DARE](https://arxiv.org/abs/2311.03099) [TIES](https://arxiv.org/abs/2306.01708) merge method using evol_merge_storage\input_models\Antler7B_2159541861 as a base.

### Models Merged

The following models were included in the merge:
* evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
* evol_merge_storage\input_models\antler-starling-08_4074283220
* evol_merge_storage\input_models\Phos7b-RP_654656604

### Configuration

The following YAML configuration was used to produce this model:

```yaml
base_model: evol_merge_storage\input_models\Antler7B_2159541861
dtype: bfloat16
merge_method: dare_ties
parameters:
  int8_mask: 1.0
  normalize: 1.0
slices:
- sources:
  - layer_range: [0, 8]
    model: evol_merge_storage\input_models\Phos7b-RP_654656604
    parameters:
      density: 0.584107666175788
      weight: 0.47231634419785595
  - layer_range: [0, 8]
    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
    parameters:
      density: 0.9357007414387093
      weight: 0.25531843586626907
  - layer_range: [0, 8]
    model: evol_merge_storage\input_models\antler-starling-08_4074283220
    parameters:
      density: 0.9750447748820433
      weight: 0.4753247646722287
  - layer_range: [0, 8]
    model: evol_merge_storage\input_models\Antler7B_2159541861
- sources:
  - layer_range: [8, 16]
    model: evol_merge_storage\input_models\Phos7b-RP_654656604
    parameters:
      density: 0.8802238329444649
      weight: 0.4482746205621599
  - layer_range: [8, 16]
    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
    parameters:
      density: 1.0
      weight: 0.5524329574915081
  - layer_range: [8, 16]
    model: evol_merge_storage\input_models\antler-starling-08_4074283220
    parameters:
      density: 1.0
      weight: 0.22634815425570032
  - layer_range: [8, 16]
    model: evol_merge_storage\input_models\Antler7B_2159541861
- sources:
  - layer_range: [16, 24]
    model: evol_merge_storage\input_models\Phos7b-RP_654656604
    parameters:
      density: 0.9921437573982935
      weight: 0.44636209472148164
  - layer_range: [16, 24]
    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
    parameters:
      density: 0.8757091247914811
      weight: 0.15431351637040108
  - layer_range: [16, 24]
    model: evol_merge_storage\input_models\antler-starling-08_4074283220
    parameters:
      density: 0.8667200206865777
      weight: 0.37827962987746055
  - layer_range: [16, 24]
    model: evol_merge_storage\input_models\Antler7B_2159541861
- sources:
  - layer_range: [24, 32]
    model: evol_merge_storage\input_models\Phos7b-RP_654656604
    parameters:
      density: 0.966615155256828
      weight: 0.5041762338947331
  - layer_range: [24, 32]
    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
    parameters:
      density: 1.0
      weight: 0.22555101554235693
  - layer_range: [24, 32]
    model: evol_merge_storage\input_models\antler-starling-08_4074283220
    parameters:
      density: 0.7616963147939114
      weight: 0.397020374822854
  - layer_range: [24, 32]
    model: evol_merge_storage\input_models\Antler7B_2159541861
```