|
--- |
|
language: |
|
- vi |
|
base_model: |
|
- Qwen/Qwen2.5-7B-Instruct |
|
--- |
|
|
|
|
|
Các kỹ thuật cắt tỉa vocab (cấm nói các ngôn ngữ không mong muốn), ví dụ khi dịch Anh Việt model hay chèn thêm từ tiếng Trung. |
|
|
|
**mixed data training**: kết hợp cải thiện tiếng Việt, cải thiện song ngữ Anh <=> Việt, và QA/RAG trong một lần huấn luyện. (xem data/final_finetune1.jsonl.xz) |
|
|
|
Gần 1G text, 5 epochs, sẽ release toàn bộ epoch để test riêng và merge nếu muốn. |
|
|
|
|
|
 |
|
|
|
https://wandb.ai/tiendung/huggingface/runs/rmp30c82 |
|
|
|
Code và cách làm https://github.com/symato/physics_of_llms |
|
|
|
Thảo luận ở https://discord.com/channels/1070551652341403769/1291645458841600051 |
|
|
|
``` |
|
python3 model_chat.py |
|
``` |
