Commit
•
3362f78
1
Parent(s):
5231fd5
Update README.md (#5)
Browse files- Update README.md (02e7c1738dbe8c3d50375f88958e1910473f5bfa)
Co-authored-by: Pakawat Phasook <[email protected]>
README.md
CHANGED
@@ -46,11 +46,11 @@ from transformers import AutoModelForCausalLM, AutoTokenizer
|
|
46 |
device = "cuda" # the device to load the model onto
|
47 |
|
48 |
model = AutoModelForCausalLM.from_pretrained(
|
49 |
-
"nectec/
|
50 |
torch_dtype="auto",
|
51 |
device_map="auto"
|
52 |
)
|
53 |
-
tokenizer = AutoTokenizer.from_pretrained("nectec/
|
54 |
|
55 |
prompt = "บริษัท A มีต้นทุนคงที่ 100,000 บาท และต้นทุนผันแปรต่อหน่วย 50 บาท ขายสินค้าได้ในราคา 150 บาทต่อหน่วย ต้องขายสินค้าอย่างน้อยกี่หน่วยเพื่อให้ถึงจุดคุ้มทุน?"
|
56 |
messages = [
|
@@ -75,7 +75,7 @@ print(response)
|
|
75 |
```
|
76 |
|
77 |
## **Evaluation Performance**
|
78 |
-
| Model | m3exam | thaiexam | xcopa | belebele | xnli | thaisentiment | XL sum | flores200 eng > th | flores200 th > eng | iapp | AVG(NLU) | AVG(MC) | AVG(NLG)
|
79 |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
|
80 |
| Pathumma-llm-text-1.0.0 | 55.02 | 51.32 | 83 | 77.77 | 40.11 | 41.29 | 16.9286253 | 26.54 | 51.88 | 41.28 |
|
81 |
| Openthaigpt1.5-7b-instruct | 54.01 | 52.04 | 85.4 | 79.44 | 39.7 | 50.24 | 18.11 | 29.09 | 29.58 | 32.49 | 63.70 | 53.03 | 27.32 |
|
|
|
46 |
device = "cuda" # the device to load the model onto
|
47 |
|
48 |
model = AutoModelForCausalLM.from_pretrained(
|
49 |
+
"nectec/Pathumma-llm-text-1.0.0",
|
50 |
torch_dtype="auto",
|
51 |
device_map="auto"
|
52 |
)
|
53 |
+
tokenizer = AutoTokenizer.from_pretrained("nectec/Pathumma-llm-text-1.0.0")
|
54 |
|
55 |
prompt = "บริษัท A มีต้นทุนคงที่ 100,000 บาท และต้นทุนผันแปรต่อหน่วย 50 บาท ขายสินค้าได้ในราคา 150 บาทต่อหน่วย ต้องขายสินค้าอย่างน้อยกี่หน่วยเพื่อให้ถึงจุดคุ้มทุน?"
|
56 |
messages = [
|
|
|
75 |
```
|
76 |
|
77 |
## **Evaluation Performance**
|
78 |
+
| Model | m3exam | thaiexam | xcopa | belebele | xnli | thaisentiment | XL sum | flores200 eng > th | flores200 th > eng | iapp | AVG(NLU) | AVG(MC) | AVG(NLG) |
|
79 |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
|
80 |
| Pathumma-llm-text-1.0.0 | 55.02 | 51.32 | 83 | 77.77 | 40.11 | 41.29 | 16.9286253 | 26.54 | 51.88 | 41.28 |
|
81 |
| Openthaigpt1.5-7b-instruct | 54.01 | 52.04 | 85.4 | 79.44 | 39.7 | 50.24 | 18.11 | 29.09 | 29.58 | 32.49 | 63.70 | 53.03 | 27.32 |
|