mesolitica/malaysian-Llama-3.2-3B-Instruct

Malaysian Llama 3.2 3B Instruct

Continue finetuning https://huggingface.co/meta-llama/Llama-3.2-3B on highly curated 1.5B tokens Malaysian instruction dataset.

Improvement

1. 128k context length.
2. Support respond in Mandarin, Tamil, Jawi, Johor, Kedah, Kelantan, Pahang, Perak, Sabah, Sarawak, Selangor, Negeri Sembilan and Terengganu.
3. Able to code in Mandarin, Tamil, Jawi, Johor, Kedah, Kelantan, Pahang, Perak, Sabah, Sarawak, Selangor, Negeri Sembilan and Terengganu.
4. Multi-turn Malaysian context such as related to Malaysian Legislation, politics, religions and languages.
5. Malaysian role-playing.
6. Standard RAG.

MalayMMLU

                             Model   Accuracy   shot by_letter        category
0  malaysian-Llama-3.2-3B-Instruct  58.248056  0shot      True            STEM
1  malaysian-Llama-3.2-3B-Instruct  59.780534  0shot      True        Language
2  malaysian-Llama-3.2-3B-Instruct  56.287944  0shot      True  Social science
3  malaysian-Llama-3.2-3B-Instruct  56.200528  0shot      True          Others
4  malaysian-Llama-3.2-3B-Instruct  59.158134  0shot      True      Humanities
{'Social science': 6918, 'Language': 6288, 'Humanities': 4395, 'Others': 4169, 'STEM': 2443}
Model : malaysian-Llama-3.2-3B-Instruct
Metric : first
Shot : 0shot
average accuracy 57.89864948581341
accuracy for STEM 58.2480556692591
accuracy for Language 59.78053435114504
accuracy for Social science 56.28794449262793
accuracy for Others 56.200527704485495
accuracy for Humanities 59.15813424345847

how to

from transformers import AutoTokenizer, AutoModelForCausalLM, TextStreamer

tokenizer = AutoTokenizer.from_pretrained('mesolitica/malaysian-Llama-3.2-3B-Instruct')
streamer = TextStreamer(tokenizer)
model = AutoModelForCausalLM.from_pretrained(
    'mesolitica/malaysian-Llama-3.2-3B-Instruct', torch_dtype = torch.bfloat16
).cuda()

General QA

d = [
    {'role': 'user', 'content': 'camne nk selesaikan masalah hutang negara'}
]

inputs = tokenizer.apply_chat_template(d, return_tensors = 'pt').to('cuda')
generate_kwargs = dict(
    input_ids=inputs,
    max_new_tokens=1024,
    top_p=0.95,
    top_k=50,
    temperature=0.6,
    do_sample=True,
    repetition_penalty=1.1,
    streamer=streamer
)
generation_output = model.generate(**generate_kwargs)

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Cutting Knowledge Date: December 2023
Today Date: 20 Oct 2024

<|eot_id|><|start_header_id|>user<|end_header_id|>

camne nk selesaikan masalah hutang 
Starting from v4.46, the `logits` model output will have the same type as the model (except at train time, where it will always be FP32)
negara<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Untuk menyelesaikan masalah hutang negara, terdapat beberapa langkah yang boleh diambil. Berikut adalah beberapa cadangan:

1. Meningkatkan pengurusan kewangan negara: Kerajaan perlu meningkatkan pengurusan kewangan negara untuk mengelakkan pembaziran wang dan memastikan dana awam digunakan dengan berkesan.

2. Mengurangkan defisit fiskal: Kerajaan perlu mengurangkan defisit fiskal melalui pelbagai cara seperti mengurangkan perbelanjaan kerajaan, meningkatkan pendapatan, dan mengurangkan subsidi dan bantuan kepada individu dan syarikat.

3. Membuat reformasi ekonomi: Kerajaan perlu membuat reformasi ekonomi yang lebih efektif untuk meningkatkan produktiviti dan daya saing ekonomi negara.

4. Memperkukuhkan institusi kewangan: Kerajaan perlu memperkukuhkan institusi kewangan negara seperti bank pusat dan badan kawalan kewangan untuk memastikan kestabilan kewangan negara.

5. Meningkatkan keyakinan pelabur: Kerajaan perlu meningkatkan keyakinan pelabur dengan menjalin hubungan yang baik dengan negara-negara lain dan menawarkan insentif-insentif yang menarik kepada pelabur.

6. Menggalakkan pertumbuhan ekonomi: Kerajaan perlu menggalakkan pertumbuhan ekonomi dengan memberikan sokongan kepada industri-industri strategik dan mengurangkan kadar cukai bagi membantu perniagaan dan individu.

7. Menjaga kestabilan politik: Kerajaan perlu menjaga kestabilan politik dengan memastikan keselamatan dan ketenteraman rakyat serta mengekalkan integriti institusi kerajaan.

8. Meningkatkan akses kepada pendidikan dan latihan: Kerajaan perlu meningkatkan akses kepada pendidikan dan latihan untuk meningkatkan kemahiran tenaga kerja dan mengurangkan jumlah orang yang tidak bekerja.

9. Mengurangkan jurang sosial: Kerajaan perlu mengurangkan jurang sosial dengan memberikan sokongan kepada golongan yang kurang bernasib baik dan meningkatkan taraf hidup mereka.

10. Menggalakkan kesedaran kewangan: Kerajaan perlu menggalakkan kesedaran kewangan dalam kalangan rakyat dengan menyediakan maklumat yang jelas tentang kewangan negara dan memberikan nasihat kewangan yang berguna.

Dengan mengambil langkah-langkah ini, kita dapat mengurangkan tahap hutang negara dan memastikan masa depan yang lebih stabil dan sejahtera untuk negara kita.<|eot_id|>

General QA force Mandarin

d = [
    {'role': 'user', 'content': 'camne nk selesaikan masalah hutang negara, reply in mandarin'}
]

inputs = tokenizer.apply_chat_template(d, return_tensors = 'pt').to('cuda')
generate_kwargs = dict(
    input_ids=inputs,
    max_new_tokens=1024,
    top_p=0.95,
    top_k=50,
    temperature=0.6,
    do_sample=True,
    repetition_penalty=1.1,
    streamer=streamer
)
generation_output = model.generate(**generate_kwargs)

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Cutting Knowledge Date: December 2023
Today Date: 20 Oct 2024

<|eot_id|><|start_header_id|>user<|end_header_id|>

camne nk selesaikan masalah hutang negara, reply in mandarin<|eot_id|><|start_header_id|>assistant<|end_header_id|>

解决马来西亚的国家债务问题需要采取多方面的方法，包括：

1. 改变财政政策：马来西亚政府应考虑减少预算赤字和降低支出率。这可以通过取消无必要项目、提高税收水平以及通过其他方式更有效地分配资源来实现。

2. 提高收入：马来西亚政府应寻找新的收入来源，如增强自然资源开发、促进创新和创业，以及通过改善教育和技能培训等领域投资于劳动力。
3. 鼓励经济增长：马来西亚政府应优先投资基础设施建设、研发和人力资本，以促进经济增长并创造就业机会。这有助于提高国内生产总值，从而为债务负担提供更多资金。
4. 改善公共部门效率：马来西亚政府应优化公共部门的绩效，并确保公共资源得到有效利用。这可以通过实施透明度和问责制机制、提高公共部门管理能力以及鼓励私营部门参与公共服务的运营来实现。
5. 鼓励投资外国利息：马来西亚政府可以通过向外国投资者提供激励措施（例如税收优惠）来吸引外国投资。这样可以通过增加外国投资从而增加国内生产总值和创造就业机会，帮助减轻债务负担。
6. 提高对人民的承诺：马来西亚政府应与公众保持开放沟通，透露其财政状况，并与民间社会合作制定减少债务的战略。这有助于建立信任和稳定，促进财政改革。
7. 鼓励国际援助：马来西亚政府可以寻求国际组织和国家的援助来支持其财政改革，例如通过获得国际债券融资或技术援助。

总之，解决马来西亚的国家债务问题需要采取全面和长期的方法，包括改变财政政策、提高收入、促进经济增长、改善公共部门效率、鼓励外国投资、提高对人民的承诺以及寻求国际援助。<|eot_id|>

General QA force Kelantan

d = [
    {'role': 'user', 'content': 'camne nk selesaikan masalah hutang negara, reply in kelantan'}
]

inputs = tokenizer.apply_chat_template(d, return_tensors = 'pt').to('cuda')
generate_kwargs = dict(
    input_ids=inputs,
    max_new_tokens=1024,
    top_p=0.95,
    top_k=50,
    temperature=0.2,
    do_sample=True,
    repetition_penalty=1.1,
    streamer=streamer
)
generation_output = model.generate(**generate_kwargs)

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Cutting Knowledge Date: December 2023
Today Date: 20 Oct 2024

<|eot_id|><|start_header_id|>user<|end_header_id|>

camne nk selesaikan masalah hutang negara, reply in kelantan<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Hutang negara ni mmg jadi isu besar la utk Malaysia. Kito keno buat gapo-gapo nok selesaike masalah ni. Ni la sikit cadange dari ore Kelate:

1. Nok kurang belanje kerajaan: Kerajaan keno cari jalan nok kurang belanje dio. Buat program nok galakkan ekonomi berkembang, tapi jange lupe nok jago kebajike rakyat sekali.

2. Nok tamboh hasil: Kerajaan keno cari cara nok tamboh hasil. Macam naik cukai ke, kuatkuasa undang-undang lebih ketat ke, atau bagi galakan ko perniagaan nok buka bisnes baru.

3. Nok baiki duit negara: Kerajaan keno cari cara nok baiki duit negara. Macam labur dale projek hok buleh buat duit jadi lagi banyok, atau cari pelaburan luar negeri.

4. Nok baiki kestabilan politik: Kalau kestabilan politik lemah, susoh la nok urus hutang. Jadi kerajaan keno pastika politik stabil, nga buat dasar hok baguh utk semuo pihok.

5. Nok buat ekonomi jadi lagi baik: Kerajaan keno fokus nok buat ekonomi jadi lagi baik, supaya duit masuk negara lagi banyok. Macam galakkan perniagaan, buat infrastruktur, nga tingkatke kemahiran ore kijo.

6. Nok kurang subsidi: Kerajaan keno fikir balik pasal subsidi. Jange bagi subsidi terlampau banyok, sebab tu la buat hutang jadi banyok.

7. Nok tanya rakyat: Kerajaan keno tanya pendapat rakyat pasal macam mano nok selesaike masalah hutang. Biar la rakyat sama-sama fikir, jange buat keputusan ikut suko hati sendiri je.

Kalu kerajaan buat semua ni, mungkin la boleh selesaike masalah hutang negara. Tapi kalu takdok usaha, hutang negara tetap jadi beban kat negara kito.<|eot_id|>

Coding force Jawi

d = [
    {'role': 'user', 'content': 'code simple website react, reply in jawi'}
]

inputs = tokenizer.apply_chat_template(d, return_tensors = 'pt').to('cuda')
generate_kwargs = dict(
    input_ids=inputs,
    max_new_tokens=1024,
    top_p=0.95,
    top_k=50,
    temperature=0.6,
    do_sample=True,
    repetition_penalty=1.1,
    streamer=streamer
)
generation_output = model.generate(**generate_kwargs)

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Cutting Knowledge Date: December 2023
Today Date: 20 Oct 2024

<|eot_id|><|start_header_id|>user<|end_header_id|>

code simple website react, reply in jawi<|eot_id|><|start_header_id|>assistant<|end_header_id|>

اونتوق ممبينا لامن ويب يڠ موده دالم رياکت، ايکوتي لڠکه٢ بريکوت:

١. **ماسوقکن رياکت دان کبرݢنتوڠن**: مولاکن دڠن مماسڠ رياکت دان کبرݢنتوڠنڽ ملالوءي چرياتور اونتوق ڤروجيک بارو. اندا بوليه منچاري ايندياچت اتاو منجالنکن ارهن بريکوت د تيريمينل اندا:

```
npx create react-app my-simple-website
cd my-simple-website
npm start
```

٢. **چيڤتا فولدر دان فايل لامن ويب**: سلڤس ممبوات ڤروجيک رياکت بارو، چيڤتا فولدر يڠ دڤڠݢيل `public` اونتوق مڽيمڤن فايل ستندرد ويب سڤرتي `index.html`. دالم فولدر `src`، چيڤتا فايل بارو يڠ دڤڠݢيل `App.js`.

٣. **لقساناکن لامن ويب**: دالم `App.js`، تمبهکن کود بريکوت اونتوق لوݢيک اساس لامن ويب اندا. توکر نيلاي `title` دان `description` اونتوق سسواي دڠن کڤرلوان اندا.

```jsx
import React from'react';

function App() {
  return (
    <div className="App">
      <header>
        <h1>My Simple Website</h1>
        <p>{process.env.NODE_ENV === 'production'? 'Built by Gatsby' : 'Developed with love by [Your Name]'} </p>
      </header>

      <main>
        <section id="about">
          <h2>About Me</h2>
          <p>
            I am a web developer who loves to build simple and efficient websites.
          </p>
        </section>

        <section id="contact">
          <h2>Contact Me</h2>
          <ul>
            <li>[email protected]</li>
            <li>Phone Number: 123-456-7890</li>
          </ul>
        </section>
      </main>

      <footer>
        &copy; {new Date().getFullYear()} My Simple Website. All Rights Reserved.
      </footer>
    </div>
  );
}

export default App;
```

٤. **إيکسڤورت لوݢيک لامن ويب**: اونتوق مڠهوبوڠکن لامن ويب اندا دڠن رياکت، ايکسترق لوݢيک لامن ويب (دالم `App.js`) کدالم فايل براسيڠن. کمودين، ايکسترق کومڤونن `Header`، `Main`, دان `Footer` اونتوق کبوليهݢوناءن سلنجوتڽ.

٥. **ݢوناکن لامن ويب اندا**: سلڤس مڠمس کيني `package.json` دڠن فايل `index.html` بارو دان لوݢيک لامن ويب، اندا بوليه منجالنکن ڤروجيک دڠن منجالنکن ارهن بريکوت:

```
npm start
```

٦. **سلاراسکن دان ڬالقاکن**: سلڤس مڠوجي لامن ويب اندا، ڤستيکن اونتوق ملارسکن ڤوستاک جس، منيوسون اونتوق کبوليهباچاءن، دان مڠکلکن ڤرسدياءن ڤمبيناءن يڠ کونسيستن دڠن ݢاي رياکت. ݢوناکن ڤوستاک سڤرتي `styled-components` اونتوق ممبوات ڤڽلساين ݢرافيق خصوص.

سلڤس مڠيکوتي لڠکه٢ اين، اندا اکن ممڤوڽاءي لامن ويب يڠ موده دبينا دالم رياکت يڠ مرڠکومي لوݢيک اساس دان ڤڽلساين ݢرافيق خصوص. اندا بوليه مڽ