Update olapp.py

olapp.py

@@ -1,34 +1,72 @@
 from http.server import HTTPServer, BaseHTTPRequestHandler
 from urllib.parse import urlparse, parse_qs
-import urllib.parse
-import json
 from llama_cpp import Llama
 
-print("Loading model...")
+SYSTEM_PROMPT = "Ты — русскоязычный автоматический ассистент и профессиональный редактор. Ты выполняешь указания пользователя в точности, соблюдая все детали задания. Ты хорошо умеешь обобщать текст, выделяя только основной смысл."
 
-# llm = Llama(model_path="/home/oluser/olapp/model-q4_K.gguf")
+ef get_message_tokens(llm, role, content):
+    content = f"{role}\n{content}\n</s>"
+    content = content.encode("utf-8")
+    message_tokens = llm.tokenize(content, special=True)
+    return message_tokens
 
-print("Model loaded!")
+def get_system_tokens(llm):
+    system_message = {
+        "role": "system",
+        "content": SYSTEM_PROMPT
+    }
+    return get_message_tokens(llm, **system_message)
 
+llm = Llama(model_path="/home/oluser/olapp/model-q4_K.gguf", n_ctx=2048, n_parts=1)
+
+system_tokens = get_system_tokens(llm)
 
 class OlHandler(BaseHTTPRequestHandler):
 
     def do_GET(self):
         query_components = parse_qs(urlparse(self.path).query)
-        #q = urllib.parse.unquote_plus(query_components["q"]) #.encode("cp1252").decode("utf-8"))
-        q = query_components["q"][0] #.encode("utf-8").decode("cp1252")
+        q = query_components["q"][0]
+
+        tokens = system_tokens
+        llm.eval(tokens)
+
+        # TODO: add few shot
+
+        message_tokens = get_message_tokens(llm=llm, role="user",
+            content="Напиши краткое изложение текста, представленного ниже, в одном предложении.\nПредложение должно быть лаконичным о отражать основной смысл события или новости.\n\n" + q )
+        role_tokens = llm.tokenize("bot\n".encode("utf-8"), special=True)
+        tokens += message_tokens + role_tokens
+        # full_prompt = llm.detokenize(tokens)
 
+        generator = llm.generate(
+            tokens,
+            top_k=30,
+            top_p=.9,
+            temp=.2,
+            repeat_penalty=1.21
+        )
+
+        answ = ""
+        
+        for tok in generator:
+            token_str = llm.detokenize([tok]).decode("utf-8", errors="ignore")
+            tokens.append(tok)
+            if tok == llm.token_eos():
+                break
+            answ += token_str
+            #print(token_str, end="", flush=True)
+        
         #output = llm.create_completion(
         #  q,
         #  max_tokens=32,
         #  echo=False
-        #)["choices"][0]["text"].encode("cp1252").decode("utf-8")
+        #)["choices"][0]["text"]
         
         self.send_response(200)
         self.send_header('Content-type','text/plain; charset=utf-8')
         self.end_headers()
         #self.wfile.write(output.encode('utf-8'))
-        self.wfile.write(q.encode('utf-8'))
+        swlf.wfile.write(answ.encode('utf-8'))
         return