Update run.py

run.py

@@ -151,25 +151,26 @@ else:
 
 def extend_prompt(message="", history=None, system=None, RAGAddon=None, system2=None, zeichenlimit=None,historylimit=4): #float("Inf")
   if zeichenlimit is None: zeichenlimit=1000000000 # :-)
-  template0="[INST] {system} [/INST]</s>" if onPrem else "[INST] {system} [/INST]</s>" #<s>?
-  template1="[INST] {message} [/INST] "
-  template2="{response}</s>"
+  #https://huggingface.co/docs/transformers/main/chat_templating
+  template0="[INST] {system} [/INST]</s> " # <s> einleitend wird ergänzt, Leerzeichen um Input und nach </s>
+  template1="[INST] {message} [/INST]"     # Leerzeichen um Input, keines nach [/INST]
+  template2="{response}</s> "              # Antworten folgen unmittelbar, enden ohne Leerzeichen vor </s>
   if("discolm_german_7b" in modelPath): #https://huggingface.co/DiscoResearch/DiscoLM_German_7b_v1
     template0="<|im_start|>system\n{system}<|im_end|>\n"
     template1="<|im_start|>user\n{message}<|im_end|>\n<|im_start|>assistant\n"
     template2="{response}<|im_end|>\n"
   if("mixtral-8x7b-instruct" in modelPath): # https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
-    template0="[INST] {system} [/INST]</s>" if onPrem else "[INST] {system} [/INST]</s>" #<s>?
-    template1="[INST] {message} [/INST] "
-    template2="{response}</s>"
+    template0="[INST] {system} [/INST]</s> " # <s> einleitend wird ergänzt, Leerzeichen um Input und nach </s>
+    template1="[INST] {message} [/INST]"     # Leerzeichen um Input, keines nach [/INST]
+    template2="{response}</s> "              # Antworten folgen unmittelbar, enden ohne Leerzeichen vor </s>
+  if("Mistral-7B-Instruct" in modelPath): #https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2
+    template0="[INST] {system} [/INST]</s> " # <s> einleitend wird ergänzt, Leerzeichen um Input und nach </s>
+    template1="[INST] {message} [/INST]"     # Leerzeichen um Input, keines nach [/INST]
+    template2="{response}</s> "              # Antworten folgen unmittelbar, enden ohne Leerzeichen vor </s>
   if("gemma-" in modelPath): # https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
     template0="<start_of_turn>user{system}</end_of_turn>" 
     template1="<start_of_turn>user{message}</end_of_turn><start_of_turn>model"
     template2="{response}</end_of_turn>"
-  if("Mistral-7B-Instruct" in modelPath): #https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2
-    template0="[INST] {system} [/INST]</s>" if onPrem else "[INST] {system} [/INST]</s>" #<s>?
-    template1="[INST] {message} [/INST] "
-    template2="{response}</s>"
   if("openchat-3.5" in modelPath): #https://huggingface.co/TheBloke/openchat-3.5-0106-GGUF
     template0="GPT4 Correct User: {system}<|end_of_turn|>GPT4 Correct Assistant: Okay.<|end_of_turn|>"
     template1="GPT4 Correct User: {message}<|end_of_turn|>GPT4 Correct Assistant: "