Create app.py

app.py

@@ -0,0 +1,303 @@
+from Prompter import Prompter
+from Callback import Stream, Iteratorize
+import os
+import sys
+
+import gradio as gr
+import torch
+import transformers
+from peft import PeftModel
+from transformers import GenerationConfig, LlamaForCausalLM, LlamaTokenizer
+import pandas as pd
+import numpy as np
+
+if torch.cuda.is_available():
+    device = "cuda"
+else:
+    device = "cpu"
+
+try:
+    if torch.backends.mps.is_available():
+        device = "mps"
+except:  # noqa: E722
+    pass
+
+base_model = "openthaigpt/openthaigpt-1.0.0-beta-7b-chat-ckpt-hf"
+load_8bit = True
+# lora_weights = "PLatonG/openthaigpt-1.0.0-beta-7b-expert-recommendations"
+lora_weights = "PLatonG/openthaigpt-1.0.0-beta-7b-expert-recommendations"
+prompter = Prompter("alpaca")
+tokenizer = LlamaTokenizer.from_pretrained(base_model)
+
+model = LlamaForCausalLM.from_pretrained(
+          base_model,
+          load_in_8bit=load_8bit,
+          torch_dtype=torch.float16,
+          device_map="auto",
+          offload_folder = "./offload"
+      )
+model = PeftModel.from_pretrained(
+    model,
+    lora_weights,
+    torch_dtype=torch.float16,
+    offload_folder = "./offload"
+)
+
+# unwind broken decapoda-research config
+model.config.pad_token_id = tokenizer.pad_token_id = 0  # unk
+model.config.bos_token_id = 1
+model.config.eos_token_id = 2
+
+if not load_8bit:
+    model.half()  # seems to fix bugs for some users.
+
+model.eval()
+if torch.__version__ >= "2" and sys.platform != "win32":
+    model = torch.compile(model)
+
+def evaluate(
+    instruction,
+    input=None,
+    stream_output=False,
+):
+    temperature=0.1
+    top_p=0.25
+    top_k=30
+    num_beams=4
+    max_new_tokens=380
+
+    prompt = prompter.generate_prompt(instruction, input)
+    inputs = tokenizer(prompt, return_tensors="pt")
+    input_ids = inputs["input_ids"].to(device)
+
+    generation_config = GenerationConfig(
+        temperature=temperature,
+        top_p=top_p,
+        top_k=top_k,
+        num_beams=num_beams,
+        
+    )
+    # generation_config = GenerationConfig(
+    #     do_sample = True,
+    #     num_beams = 4,
+    # )
+
+    generate_params = {
+        "input_ids": input_ids,
+        "generation_config": generation_config,
+        "return_dict_in_generate": True,
+        "output_scores": True,
+        "max_new_tokens": max_new_tokens,
+    }
+
+    if stream_output:
+        # Stream the reply 1 token at a time.
+        # This is based on the trick of using 'stopping_criteria' to create an iterator,
+        # from https://github.com/oobabooga/text-generation-webui/blob/ad37f396fc8bcbab90e11ecf17c56c97bfbd4a9c/modules/text_generation.py#L216-L243.
+
+        def generate_with_callback(callback=None, **kwargs):
+            kwargs.setdefault(
+                "stopping_criteria", transformers.StoppingCriteriaList()
+            )
+            kwargs["stopping_criteria"].append(
+                Stream(callback_func=callback)
+            )
+            with torch.no_grad():
+                model.generate(**kwargs)
+
+        def generate_with_streaming(**kwargs):
+            return Iteratorize(
+                generate_with_callback, kwargs, callback=None
+            )
+
+        with generate_with_streaming(**generate_params) as generator:
+            for output in generator:
+                # new_tokens = len(output) - len(input_ids[0])
+                decoded_output = tokenizer.decode(output)
+
+                if output[-1] in [tokenizer.eos_token_id]:
+                    break
+
+                yield prompter.get_response(decoded_output)
+        return  # early return for stream_output
+
+    # Without streaming
+    with torch.no_grad():
+        generation_output = model.generate(
+            input_ids=input_ids,
+            generation_config=generation_config,
+            return_dict_in_generate=True,
+            output_scores=True,
+            max_new_tokens=max_new_tokens,
+        )
+    s = generation_output.sequences[0]
+    output = tokenizer.decode(s)
+    yield prompter.get_response(output)
+
+
+# From SMOTE with 4 neightbor
+fourNSMOTE = pd.read_csv("FILTER_GREATERTHANTHREE_FROM_SHEETS_SMOTE_train.csv")
+
+with gr.Blocks(fill_height = True, title="Expert Recommendations") as demo:
+    with gr.Row():
+      birth_year = gr.components.Number(minimum = 2536, maximum = 2557, value= 2545,
+                              label="ปีเกิด",
+                              info="ต่ำสุด : 2536 สูงสุด : 2557")
+      nationality_name = gr.components.Dropdown(choices=fourNSMOTE.NATIONALITY_NAME.unique().tolist(),
+                              label="สัญชาติ",
+                              value = fourNSMOTE.NATIONALITY_NAME.unique().tolist()[0])
+      religion_name = gr.components.Dropdown(choices=fourNSMOTE.RELIGION_NAME.unique().tolist(),
+                              label="ศาสนา",
+                              value = fourNSMOTE.RELIGION_NAME.unique().tolist()[0])
+    with gr.Row():
+      sex = gr.components.Dropdown(choices=fourNSMOTE.JVN_SEX.unique().tolist(),
+                                              label="เพศ",
+                                              value = fourNSMOTE.JVN_SEX.unique().tolist()[0])
+      inform_status = gr.components.Dropdown(choices=fourNSMOTE.INFORM_STATUS_TXT.unique().tolist(),
+                              label="เหตุที่นำมาสู่การดำเนินคดี",
+                              value = fourNSMOTE.INFORM_STATUS_TXT.unique().tolist()[0])
+      age = gr.components.Number(minimum = 10, maximum = 19, value= 17,
+                              label="อายุตอนกระทำผิด",
+                              info="ต่ำสุด : 10 ปี สูงสุด : 19")
+    with gr.Row():
+
+      offense_name = gr.components.Dropdown(choices=fourNSMOTE.OFFENSE_NAME.unique().tolist(),
+                                  label="คดีที่กระทำผิด",
+                                  value = fourNSMOTE.OFFENSE_NAME.unique().tolist()[0])
+
+      ref_value = fourNSMOTE.OFFENSE_NAME.unique().tolist()[0]
+
+      allegation_name = gr.components.Dropdown(choices=fourNSMOTE.ALLEGATION_NAME.unique().tolist(), label="ชื่อของข้อกล่าวหา",
+                                value = fourNSMOTE.query("OFFENSE_NAME == @ref_value")["ALLEGATION_NAME"].unique().tolist()[0])
+
+      allegation_desc = gr.components.Dropdown(choices=fourNSMOTE.ALLEGATION_DESC.unique().tolist(), label="รายละเอียดของข้อกล่าวหา",
+                                value = fourNSMOTE.query("OFFENSE_NAME == @ref_value")["ALLEGATION_DESC"].unique().tolist()[0])
+
+      def update_dropDown_allegation(value):
+          allegation_query = fourNSMOTE.query("OFFENSE_NAME == @value")
+          data = allegation_query["ALLEGATION_NAME"].unique().tolist()
+          allegation_name = gr.components.Dropdown(choices=data, value=data[0])
+          # allegation_desc = gr.components.Dropdown(choices=query_state["ALLEGATION_DESC"].unique().tolist())
+          return allegation_name
+      
+      def update_dropDown_allegation_desc(offense_name, allegation_name):
+          allegationDesc_query = fourNSMOTE.query("OFFENSE_NAME == @offense_name and ALLEGATION_NAME == @allegation_name")
+          data = allegationDesc_query["ALLEGATION_DESC"].unique().tolist()
+          allegation_desc = gr.components.Dropdown(choices=data, value=data[0])
+          # allegation_desc = gr.components.Dropdown(choices=query_state["ALLEGATION_DESC"].unique().tolist())
+          return allegation_desc
+
+      offense_name.change(fn=update_dropDown_allegation, inputs=offense_name, outputs=[allegation_name])
+      offense_name.change(fn=update_dropDown_allegation_desc, inputs=[offense_name, allegation_name], outputs=[allegation_desc])
+      allegation_name.change(fn=update_dropDown_allegation_desc, inputs=[offense_name, allegation_name], outputs=[allegation_desc])
+
+
+
+    
+    with gr.Row():
+
+      rn1 = gr.components.Radio(choices=["ถูก", "ผิด"],
+                              label="ปรากฎลักษณะนิสัย/พฤติกรรมที่ไม่เหมาะสมของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่",
+                              value="ถูก")
+      rn2 = gr.components.Radio(choices=["ถูก", "ผิด"],
+                              label="ปรากฎประวัติการกระทำผิดของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่ด้วย",
+                              value = "ถูก")
+      rn3 = gr.components.Radio(choices=["ถูก", "ผิด"],
+                              label="ปรากฎประวัติการเกี่ยวข้องกับยาเสพติดของบุคคลในครอบครัว",
+                              value = "ถูก")
+    with gr.Row():
+
+      education = gr.components.Dropdown(choices=fourNSMOTE.RN3_14_HIS_EDU_FLAG.unique().tolist(),
+                              label="สถาณะการศึกษา",
+                              value = fourNSMOTE.RN3_14_HIS_EDU_FLAG.unique().tolist()[0])
+      occupation = gr.components.Dropdown(choices=fourNSMOTE.RN3_19_OCCUPATION_STATUS.unique().tolist(),
+                              label="สถาณะการประกอบอาชีพ",
+                              value = fourNSMOTE.RN3_19_OCCUPATION_STATUS.unique().tolist()[0])
+      province = gr.components.Dropdown(choices=fourNSMOTE.PROVINCE_NAME.unique().tolist(),
+                              label="จังหวัดที่กระทำผิด",
+                              value = fourNSMOTE.PROVINCE_NAME.unique().tolist()[0])
+
+
+    def generate_input(birth_year, nationality_name, religion_name, sex,
+                           inform_status, age, offense_name, allegation_name,
+                           allegation_desc, rn1, rn2, rn3, education, occupation, province):
+
+      birth_year = f"เกิดเมื่อปี พ.ศ. {int(birth_year)}"
+
+      if int(age) >= 10 or int(age) <=15:
+        age = f"มีอายุอยู่ในช่วง 10 ถึง 15 ปี"
+      elif int(age) >=16 or int(age) <= 20:
+        age = f"มีอายุอยู่ในช่วง 16 ถึง 20 ปี"
+      elif int(age) >=21 or int(age) <= 25:
+        age = f"มีอายุอยู่ในช่วง 21 ถึง 25 ปี"
+      elif int(age) >=26:
+        age = f"มีอายุอยู่ในช่วง 26 ปีขึ้นไป"
+
+      if rn1 == "ถูก":
+        rn1 = "มีลักษณะนิสัย/พฤติกรรมที่ไม่เหมาะสมของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่"
+      else:
+        rn1 = "ไม่มีลักษณะนิสัย/พฤติกรรมที่ไม่เหมาะสมของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่"
+
+      if rn2 == "ถูก":
+        rn2 = "มีประวัติการกระทำผิดของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่ด้วย"
+      else:
+        rn2 = "ไม่มีประวัติการกระทำผิดของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่ด้วย"
+
+      if rn3 == "ถูก":
+        rn3 = "มีประวัติการเกี่ยวข้องกับยาเสพติดของบุคคลในครอบครัว"
+      else:
+        rn3 = "ไม่มีประวัติการเกี่ยวข้องกับยาเสพติดของบุคคลในครอบครัว"
+
+      instruciton = "จงสร้างคำแนะนำของผู้เชี่ยวชาญจากปัจจัยดังต่อไปนี้"
+      input = f"{birth_year} {nationality_name} {religion_name} {sex} {inform_status} {age} {offense_name} {allegation_name} {allegation_desc} {rn1} {rn2} {rn3} {education} {occupation} {province}"
+
+
+      return input
+
+    def generate_full_input(inst ,input):
+      # output = ["True", "false"]
+      # input = np.random.choice(output)
+      # input = instruction + " " + input
+      # first_element = check[0] # user text
+      # last_element = check[-1] # input
+      # instruction = check[-2] # instruction
+      # input = f"{instruction} {last_element}"
+      return f"{inst} {input}"
+
+    def test_fucn(inst, input, stream):
+      return str(inst)
+
+
+
+    instruction = gr.Textbox(label = "คำสั่ง", value="จงสร้างคำแนะนำของผู้เชี่ยวชาญจากปัจจัยดังต่อไปนี้", visible=False, interactive=False)
+    input_compo = gr.Textbox(label = "ข้อมูลเข้า (input)", show_copy_button = True, visible=False)
+    
+    # stream_output = gr.components.Checkbox(label="Stream output")
+
+    full_input = gr.Textbox(label = "full prompt", visible=True, show_copy_button=True)
+    btn1 = gr.Button("GENERATE INPUT")
+    # show input text format for user
+    btn1.click(fn=generate_input, inputs=[birth_year, nationality_name, religion_name, sex,
+                           inform_status, age, offense_name, allegation_name,
+                           allegation_desc, rn1, rn2, rn3, education, occupation, province],
+              outputs=input_compo)
+
+    # btn1.click(fn=generate_simple_output, inputs = [instruction, input_compo], outputs = full_input)
+    input_compo.change(fn = generate_full_input, inputs=[instruction, input_compo], outputs=full_input)
+
+
+    outputModel = gr.Textbox(label= "ผลลัพธ์ (output)")
+    btn2 = gr.Button("GENERATE OUTPUT")
+    btn2.click(fn=evaluate, inputs=[instruction, input_compo], outputs=outputModel)
+    
+
+
+    # input text format for model
+    # btn.click(fn=generate_text_test2, inputs = [birth_year, nationality_name, religion_name, sex,
+    #                                             inform_status, age, offense_name, allegation_name,
+    #                                             allegation_desc, rn1, rn2, rn3, education, occupation, province],
+    #                                   outputs = input_compo)
+
+
+
+demo.launch(debug=True, share=True)