Symato
/

Qwen2.5-7B-Instruct__trimm_vocab

Model card Files Files and versions Community

tiendung commited on Oct 13, 2024

Commit

2ffac91

•

1 Parent(s): 12cbfd7

Update README.md

Files changed (1) hide show

README.md +3 -0

README.md CHANGED Viewed

@@ -5,7 +5,10 @@ base_model:
 - Qwen/Qwen2.5-7B-Instruct
 ---
 - https://github.com/symato/physics_of_llms
 - https://discord.com/channels/1070551652341403769/1291645458841600051
 ```

 - Qwen/Qwen2.5-7B-Instruct
 ---
+Các kỹ thuật cắt tỉa vocab (cấm nói các ngôn ngữ không muốn), mixed data training: kết hợp cải thiện tiếng Việt, cải thiện song ngữ Anh <=> Việt, và QA/RAG trong một lần huấn luyện. (xem data/final_finetune1.jsonl.xz)
 - https://github.com/symato/physics_of_llms
+Thảo luận ở
 - https://discord.com/channels/1070551652341403769/1291645458841600051
 ```