Update README.md
Browse files
README.md
CHANGED
|
@@ -5,11 +5,16 @@ base_model:
|
|
| 5 |
- Qwen/Qwen2.5-7B-Instruct
|
| 6 |
---
|
| 7 |
|
| 8 |
-
Các kỹ thuật cắt tỉa vocab (cấm nói các ngôn ngữ không muốn), mixed data training: kết hợp cải thiện tiếng Việt, cải thiện song ngữ Anh <=> Việt, và QA/RAG trong một lần huấn luyện. (xem data/final_finetune1.jsonl.xz)
|
| 9 |
-
- https://github.com/symato/physics_of_llms
|
| 10 |
|
| 11 |
-
|
| 12 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 13 |
|
| 14 |
```
|
| 15 |
python3 model_chat.py
|
|
|
|
| 5 |
- Qwen/Qwen2.5-7B-Instruct
|
| 6 |
---
|
| 7 |
|
|
|
|
|
|
|
| 8 |
|
| 9 |
+
Các kỹ thuật cắt tỉa vocab (cấm nói các ngôn ngữ không muốn)
|
| 10 |
+
|
| 11 |
+
**mixed data training**: kết hợp cải thiện tiếng Việt, cải thiện song ngữ Anh <=> Việt, và QA/RAG trong một lần huấn luyện. (xem data/final_finetune1.jsonl.xz)
|
| 12 |
+
|
| 13 |
+
1G text, 5 epochs, sẽ release toàn bộ epoch để test riêng và merge nếu muốn.
|
| 14 |
+
|
| 15 |
+
https://github.com/symato/physics_of_llms
|
| 16 |
+
|
| 17 |
+
Thảo luận ở https://discord.com/channels/1070551652341403769/1291645458841600051
|
| 18 |
|
| 19 |
```
|
| 20 |
python3 model_chat.py
|