Files changed (1) hide show
  1. README.md +3 -3
README.md CHANGED
@@ -46,11 +46,11 @@ from transformers import AutoModelForCausalLM, AutoTokenizer
46
  device = "cuda" # the device to load the model onto
47
 
48
  model = AutoModelForCausalLM.from_pretrained(
49
- "nectec/OpenThaiLLM-DoodNiLT-V1.0.0-Beta-7B-Instruct",
50
  torch_dtype="auto",
51
  device_map="auto"
52
  )
53
- tokenizer = AutoTokenizer.from_pretrained("nectec/OpenThaiLLM-DoodNiLT-V1.0.0-Beta-7B-Instruct")
54
 
55
  prompt = "บริษัท A มีต้นทุนคงที่ 100,000 บาท และต้นทุนผันแปรต่อหน่วย 50 บาท ขายสินค้าได้ในราคา 150 บาทต่อหน่วย ต้องขายสินค้าอย่างน้อยกี่หน่วยเพื่อให้ถึงจุดคุ้มทุน?"
56
  messages = [
@@ -75,7 +75,7 @@ print(response)
75
  ```
76
 
77
  ## **Evaluation Performance**
78
- | Model | m3exam | thaiexam | xcopa | belebele | xnli | thaisentiment | XL sum | flores200 eng > th | flores200 th > eng | iapp | AVG(NLU) | AVG(MC) | AVG(NLG)
79
  | :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
80
  | Pathumma-llm-text-1.0.0 | 55.02 | 51.32 | 83 | 77.77 | 40.11 | 41.29 | 16.9286253 | 26.54 | 51.88 | 41.28 |
81
  | Openthaigpt1.5-7b-instruct | 54.01 | 52.04 | 85.4 | 79.44 | 39.7 | 50.24 | 18.11 | 29.09 | 29.58 | 32.49 | 63.70 | 53.03 | 27.32 |
 
46
  device = "cuda" # the device to load the model onto
47
 
48
  model = AutoModelForCausalLM.from_pretrained(
49
+ "nectec/Pathumma-llm-text-1.0.0",
50
  torch_dtype="auto",
51
  device_map="auto"
52
  )
53
+ tokenizer = AutoTokenizer.from_pretrained("nectec/Pathumma-llm-text-1.0.0")
54
 
55
  prompt = "บริษัท A มีต้นทุนคงที่ 100,000 บาท และต้นทุนผันแปรต่อหน่วย 50 บาท ขายสินค้าได้ในราคา 150 บาทต่อหน่วย ต้องขายสินค้าอย่างน้อยกี่หน่วยเพื่อให้ถึงจุดคุ้มทุน?"
56
  messages = [
 
75
  ```
76
 
77
  ## **Evaluation Performance**
78
+ | Model | m3exam | thaiexam | xcopa | belebele | xnli | thaisentiment | XL sum | flores200 eng > th | flores200 th > eng | iapp | AVG(NLU) | AVG(MC) | AVG(NLG) |
79
  | :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
80
  | Pathumma-llm-text-1.0.0 | 55.02 | 51.32 | 83 | 77.77 | 40.11 | 41.29 | 16.9286253 | 26.54 | 51.88 | 41.28 |
81
  | Openthaigpt1.5-7b-instruct | 54.01 | 52.04 | 85.4 | 79.44 | 39.7 | 50.24 | 18.11 | 29.09 | 29.58 | 32.49 | 63.70 | 53.03 | 27.32 |