mergekit_moe_config.yml

base_model: beomi/OPEN-SOLAR-KO-10.7B
dtype: float16
experts:
  - source_model: beomi/OPEN-SOLAR-KO-10.7B
    positive_prompts: ["당신은 다방면으로 답변을 잘하는 어시스턴트이다."]
  - source_model: hyeogi/SOLAR-10.7B-dpo-v1
    positive_prompts: ["당신은 사람들에게 도움을 주는 어시스턴트이다."]
  - source_model: megastudyedu/M-SOLAR-10.7B-v1.1-beta
    positive_prompts: ["당신은 기술적인 문서의 요약을 잘하는 어시스턴트이다."]
  - source_model: GAI-LLM/OPEN-SOLAR-KO-10.7B-mixed-v15
    positive_prompts: ["당신은 친절하고 많은 것을 알고 있는 어시스턴트이다."]
gate_mode: cheap_embed
tokenizer_source: base