| ```sh | |
| head -n 3 tokens_kept__alphabet_long.jsonl | |
| # token token_id count | |
| [ " opportunities" , 10488, 89723] | |
| [ " technologies" , 14310, 47144] | |
| [ " Pennsylvania" , 19771, 42463] | |
| ``` | |
| ```sh | |
| ## Sau khi cắt tỉa bằng máy và lọc sơ bằng tay | |
| wc -l tokens_kept__* | |
| 214 tokens_kept__alphabet_long.jsonl | |
| 32569 tokens_kept__alphabet_short.jsonl | |
| 0 tokens_kept__ascii_long.jsonl | |
| 18297 tokens_kept__ascii_short.jsonl | |
| 35092 tokens_kept__english.jsonl | |
| 2536 tokens_kept__others.jsonl | |
| 88708 total | |
| ``` | |
| Nhờ việc loại bỏ những tokens không thuộc hệ ngôn ngữ tiếng Anh + Việt (latin based), và loại bỏ những tokens có count thấp, | |
| giảm được số lượng vocab của qwen từ 151k xuống ~80k (gần 1/2). | |
| Việc phân loại các tokens vào từng mục như alphabet vs ascii vs other, long vs short giúp người xem cảm nhận tổng thể bộ vocab tốt hơn. Và có thể cắt tỉa thêm nếu muốn. |